自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

twilight_karl的博客

以铜为镜,可以正衣冠;以古为镜,可以知兴替;以人为镜,可以明得失

原创 Pandas常用方法

数据处理很多需要用到pandas,有两个基本类型:Series表示一维数据,DataFrame表示多维。以下是一些常用方法的整理: pandas.Series 创建 Series pandas.Series( data, index, dtype, copy) name value ...

2019-11-03 17:40:17

阅读数 29

评论数 0

原创 PCA降维的原理及实现

PCA可以将数据从原来的向量空间映射到新的空间中。由于每次选择的都是方差最大的方向,所以往往经过前几个维度的划分后,之后的数据排列都非常紧密了, 我们可以舍弃这些维度从而实现降维 原理 内积 两个向量的乘积满足:ab=∣a∣⋅∣b∣⋅cos(θ)ab= |a|\cdot |b|\cdot cos...

2019-11-03 17:32:13

阅读数 47

评论数 0

原创 案例1-Digit-Recognizer

搬运来的步骤 一. 数据分析 下载并加载数据 总体预览数据:了解每列数据的含义,数据的格式等 数据初步分析,使用统计学与绘图: 由于特征没有特殊的含义,不需要过多的细致分析 二. 特征工程 1.根据业务,常识,以及第二步的数据分析构造特征工程. 2.将特征转换为模型可以辨别的类型(如处理缺失...

2019-11-03 17:31:39

阅读数 14

评论数 0

原创 sklearn中的SVM

SVM真的是很复杂的算法,原本以为原理看懂了实现就会很简单,然而事实并不是这样 sklearn中对于支持向量机提供了很多模型:LinearSVC, LinearSVR, NuSVC, NuSVR, SVC, SVR 参数 SVC 用于分类,用libsvm实现,参数如下: C : 惩罚项,默认为...

2019-11-03 17:31:05

阅读数 29

评论数 0

原创 支持向量机公式整理(SVM)

支持向量机可以分为三类: 线性可分的情况 ==> 硬间隔最大化 ==> 硬间隔SVM 近似线性可分的情况 ==> 软间隔最大化 ==> 线性支持向量机 线性不可分的情况 ==> 核技巧/软间隔最大化 ==> 非线性SVM 硬间隔向量机(hard marg...

2019-11-03 17:30:35

阅读数 36

评论数 0

原创 numpy备忘(2)

x.ravel() 和 x.flatten() : 将多为数组降维到1维.ravel()返回元素的引用(对象不一样,但是元素是引用),flatten()返回新的元素。 np.meshgrid(x, y) : 返回两个矩阵(X,Y),由这两个矩阵可以将xy定义的空间中的所有点描述出来。所有的点就是网...

2019-11-03 17:28:30

阅读数 9

评论数 0

原创 多项式回归 & pipeline & 学习曲线 & 交叉验证

多项式回归就是数据的分布不满足线性关系,而是二次曲线或者更高维度的曲线。此时只能使用多项式回归来拟合曲线。比如如下数据,使用线性函数来拟合就明显不合适了。 接下来要做的就是升维,上面的真实函数是:$ y = 0.5x^2 + 2x + 5。而样本数据的形式是(x,y),以这种方式只能训练出。而...

2019-11-03 17:27:51

阅读数 26

评论数 0

原创 L1、L2-正则化

出现过拟合时,使用正则化可以将模型的拟合程度降低一点点,使曲线变得缓和。 L1正则化(LASSO) 正则项是所有参数的绝对值的和。正则化不包含theta0,因为他只是偏置,而不影响曲线的摆动幅度。 J(θ)=MSE⁡(y,y^)+α∑i=1n∣θi∣ J(\theta)=\operatorname...

2019-11-03 17:26:46

阅读数 14

评论数 0

原创 三种梯度下降法的对比(BGD & SGD & MBGD)

常用的梯度下降法分为: 批量梯度下降法(Batch Gradient Descent) 随机梯度下降法(Stochastic Gradient Descent) 小批量梯度下降法(Mini-Batch Gradient Descent) 简单的算法示例 数据 x = np.random.un...

2019-11-03 17:26:06

阅读数 14

评论数 0

原创 机器学习-梯度下降法的详细推导与代码实现

计算 对于线性回归,梯度下降法的目标就是找到一个足够好的向量 θ\thetaθ,使代价函数J(θ)=∑i=1m(y^−yi)2J(\theta) = \sum_{i=1}^{m}(\hat{y}-y_{i})^{2}J(θ)=∑i=1m​(y^​−yi​)2 取得最小值。线性回归的代价函数是关于θ...

2019-09-28 14:49:50

阅读数 58

评论数 0

原创 机器学习-线性回归

线性回归 对于每一个样本数据 x=(x1,x2,...,xn)x=(x_{1},x_{2},...,x_{n})x=(x1​,x2​,...,xn​),希望拟合出一个模型 f(x)。当有新的数据输入时,可以给出误差最小的估计值。假设函数如下: y=f(x)=θ0+θ1x1+θ2x2+...+θnx...

2019-09-28 14:48:18

阅读数 11

评论数 0

原创 机器学习-朴素贝叶斯算法

贝叶斯定理 w是由待测数据的所有属性组成的向量。p(c|x)表示,在数据为x时,属于c类的概率。 p(c∣w)=p(w∣c)p(c)p(w) p(c|w)=\frac{p(w|c)p(c)}{p(w)} p(c∣w)=p(w)p(w∣c)p(c)​ 如果数据的目标变量最后有两个结果,则需要分别计算...

2019-09-20 10:23:27

阅读数 25

评论数 1

原创 机器学习-决策树算法

信息增益 香农熵: 指混乱程度,越混乱,值越大 信息增益(information gain): 在划分数据集前后信息发生的变化称为信息增益(香农熵的差) 基尼不纯度也可度量集合的无序程度 香农熵的计算公式如下: H=−∑i=1np(xi)log2p(xi) H=-\sum_{i=1}^{n...

2019-09-12 22:06:58

阅读数 27

评论数 0

原创 numpy重要知识点总结

数据类型 dtype用于自定义类型。i1,i2,i4,i8表示int8,int16,int32,int64。S20表示特定长度的字符串 dtype([(‘键’,‘值类型’),(‘键’,‘值类型’),…]) import numpy as np # 定义类型 dt = np.dtype([(&...

2019-09-10 18:59:17

阅读数 42

评论数 0

原创 python常用工具

工欲善其事必先利其器(不搞清楚这个代码实在敲不下去。。) Jupyter 的常见用法 两种模式。命令模式(蓝色)和编辑模式(绿色),直接使用 Enter 进入编辑模式, 使用 Esc 进入命令模式。类似于 VIM。 命令模式下快捷键: j/k : 在上下cell间切换,之后直接Enter可...

2019-03-28 11:14:57

阅读数 153

评论数 0

原创 Python文件操作,OS库

文件操作 readline([size]) : 不指定size就读取一行,包括换行符,指定size就读取size个字节或者遇到换行符终止。 seek(offset[, position]) : 移动文件指针,position 0 表示文件首,1表示当前位置,2表示文件尾 readlines()...

2019-01-09 21:29:07

阅读数 298

评论数 0

原创 Python网络编程-socket-socketserver

使用 socket 套接字 构造函数的原型如下: socket(self, family, type, proto) family(默认是IPv4) socket.AF_INET : IPv4 (默认) socket.AF_INET : IPv6 socket.AF_UNIX : 只能用于...

2019-01-09 21:28:49

阅读数 82

评论数 0

原创 Python字符串

单字符就是长度为1的字符串 字符串不能被改变。向一个索引位置赋值,比如 word[0] = 'm' 会导致错误。 字符串可迭代 字符串的运算 + 字符串连接 * 重复输出字符串 [] 通过索引获取字符串中字符 [ : ] 截取字符串中的一部分,[a,b).不写ab表示原字...

2019-01-09 21:28:27

阅读数 74

评论数 0

原创 Python模块,面向对象

Python 模块(module) import import module1[, module2[,… moduleN] 在当前路径下搜索模块,如果没有,就在sys.path中的路径搜索。 导入模块后,需要以模块名.函数访问模块中的内容 一个模块只会被导入一次,不管执行了多少次import...

2019-01-09 21:27:45

阅读数 63

评论数 0

原创 Python数据类型,变量,类型转换

数据类型 Python3 中有六个标准的数据类型: Number : 数字 String : 字符串 list : 列表 tuple : 元组 set : 集合 Dictionary : 字典 Python3 的六个标准数据类型中: 不可变数据(3 个): Number(数字)、S...

2019-01-09 21:27:20

阅读数 127

评论数 0

原创 Python列表,排序,字典

列表(list) 创建一个列表,只要把逗号分隔的不同的数据项使用方括号括起来即可 Python已经内置确定序列的长度以及确定最大和最小的元素的方法。 数据项不需要具有相同的类型 删除列表元素用 del list[i] list = ['Google', 'Run...

2019-01-09 21:26:57

阅读数 824

评论数 0

原创 Python语法

分支语句(if) 示例: if condition1: 代码块1 elif condition2: 代码块 ..... else: 代码块 ipython 中_变量表示上一次输出的结果 pass 空操作,占座 // 整除 len(str) 取字符串长度...

2019-01-09 21:26:15

阅读数 299

评论数 0

原创 安装Pyenv

系统配置(CentOS7) 使用阿里yum源 备份: mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 更换源: wget -O /etc/yum.repos.d/CentOS-Base...

2019-01-09 21:25:22

阅读数 202

评论数 0

原创 MySQL---外键、添加删除约束、ON DELETE参照、添加|删除|修改数据

外键(FOREIGN KEY) 外键约束需要满足一些基本要求: 父表和子表必须是相同的引擎,而且禁止使用临时表 数据表的存储引擎只能是InnoDB 外键列和参照列必须具有相似的数据烈性。其中数字的长度或是否有符号为必须相同。而字符串的长度可以不同。 外键列和参照列必须创建索引。如果外键列不存在索...

2019-01-09 21:06:30

阅读数 290

评论数 0

转载 win引导修复

win引导修复 转载自博客园 sikewang https://www.cnblogs.com/sikewang/p/4609527.html

2018-10-26 19:56:24

阅读数 430

评论数 0

原创 非root用户开启tomcat报错Permission denied

开启tomcat失败,报错提示 Permission denied 报错信息如下: Caused by: java.net.SocketException: Permission denied at sun.nio.ch.Net.bind0(Native Method) ...

2018-01-18 11:13:24

阅读数 923

评论数 0

原创 Centos7安装Hadoop

修改 Centos7为字符界面Centos7取消了之前的 inittab文件的作用,改用命令实现, - systemctl get-default : 获得默认启动方式 - systemctl set-default multi-user.target : 设置字符界面启动方式(level3)...

2018-01-14 10:12:44

阅读数 158

评论数 0

原创 Shell---Shell常用命令(tr、sed、cut)

trtr 命令用于转换或删除文件中的字符。从标准输入设备读取数据,经过字符串转译后,将结果输出到标准输出设备。 tr [-cdst][--help][--version][第一字符集][第二字符集]参数: - -c, –complement:反选设定字符。也就是符合 SET1 的部份不做处理...

2017-10-28 11:56:33

阅读数 1121

评论数 0

原创 Shell---for循环

for 循环语法一:for 变量 in value1 value2 value3... do // do something done语法二 :for (( 初始值;循环控制条件;变量变化 )) do // do something ...

2017-10-28 09:42:41

阅读数 153

评论数 0

原创 Shell---判断(if)和分支(case)

if 判断单分支if条件语句语法:if [ 条件判断式 ];then # do something fi或者if [ 条件判断式 ] then # do something fi案例一,获取当前用户名,当然用 whoami 也可:#!/bin/bashtest=`env |...

2017-10-28 09:41:59

阅读数 969

评论数 0

原创 Shell---条件判断、参数

条件判断两种方式表示判断: - test -e 文件名 - [ -e 文件名 ] // 中括号中间有空格以上的命令在命令行中执行,不能看到结果,需要用$?查看上一次执行的结果一种可以直接输出结果的方式: - * [ -d /root ] && echo ...

2017-10-27 08:42:02

阅读数 1104

评论数 0

原创 Linux中常见配置文件

sourcesource 配置文件 或 . 配置文件 使配置文件生效常见配置文件: /etc/profile /etc/profile.d/*.sh ~/.bash_profile ~/.bashrc /etc/bashrc 文件的作用及关系如下:其他配置文件 ~/.bash_logout 退出...

2017-10-26 19:56:03

阅读数 521

评论数 0

原创 Shell---常用命令、常用环境变量、PS1、语系变量、位置变量、预定义变量、数值运算

常用命令set 查询所有正在运行的变量 - -u 当查看不存在的变量时会提示报错unset 删除变量(不是删除值,不需要加$) unset name env 只查看环境变量 export 声明环境变量 export 变量名=变量值 export 变量名常用环境变量 HOSTNAME: ...

2017-10-26 19:53:59

阅读数 274

评论数 0

转载 Linux Shell编程入门

转载自:Linux Shell编程入门从程序员的角度来看, Shell本身是一种用C语言编写的程序,从用户的角度来看,Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执行,又可以利用 Shell脚本编程,完成更加复杂的操作。在Linux GUI日益完善的今天,在系统管理等领域,S...

2017-09-05 22:28:54

阅读数 203

评论数 0

原创 Linux系统管理-工作管理(后台程序管理)

简介工作管理指的是在当个登陆终端中同时管理多个工作的行为。 注意事项 - 当前的登陆终端,只能管理当前终端的工作,而不能管理其他登陆终端的工作 - 放入后台的命令必须可以持续运行一段事件,这样我们才能捕捉和操作这个工作 - 放入后台执行的命令不能和前台用户有交互或需要前台输入,否则放入后台...

2017-09-05 21:57:08

阅读数 300

评论数 0

原创 Linux系统管理---进程管理(查看进程、终止进程、更改进程优先级)

查看进程ps ps aux 查看所有进程,使用BSD操作系统格式 ps -le 查看系统所有进程,使用Linux标准命令格式 参数 - a :显示一个终端的所有进程, - u :显示进程的归属用户及内存的使用情况 - x :显示没有控制终端的进程 - -l :长格式显示。显示更加详细的...

2017-08-25 22:59:23

阅读数 1650

评论数 0

原创 Linux服务管理---系统运行级别、rpm启动与自启动、源码包的启动

系统运行级别 runlevel 查看运行级别 init num 设置运行级别 运行级别 含义 0 关机 1 单用户模式,可以想象为安全模式,主要用户系统修复 2 不完全的命令行模式 3 完全的命令行模式,标准字符界面 4 系统保留 5 图形模...

2017-08-05 11:59:30

阅读数 803

评论数 0

原创 Linux---软件安装管理

RPM 安装rpm -ivh 全名 安装软件包选项: -i (install) 安装 -v (verbose) 显示详细信息 -h (hash) 显示进度 升级rpm -Uvh 包全名(旧版本) 如果已经安装就更新,如果没有安装就安装 -U (upgrade)升级 卸载rpm -e 包名 ...

2017-08-05 09:32:01

阅读数 170

评论数 0

原创 Linux-权限管理(sudo权限)

简介sudo命令允许系统管理员让普通用户执行一些或者全部的root命令。不需要暴露root密码,就可以让普通用户执行管理员的命令修改sudo权限 visudo visudo 会自动打开etc下的sudo文件。在文件中加上允许普通用户执行的命令即可,命令格式如下: - 用户名 ALL=(roo...

2017-08-02 19:12:56

阅读数 3045

评论数 0

原创 Linux-权限管理(ACL权限)

ACL简介目前已知的三种权限分别是,所有者权限,所属组权限,和其他人权限。这三种权限有时并不能很好的指定所有用户的权限。当无法使用这三种权限准确的指定一个用户的权限时,可以使用acl给用户或用户组指定特定的权限。例如,所有者和所属组具有最高权限。其他人具有0权限。此时我希望给一个用户设定r-x权限...

2017-08-02 19:12:05

阅读数 246

评论数 0

提示
确定要删除当前文章?
取消 删除