机器学习
文章平均质量分 92
twilight0402
以铜为镜,可以正衣冠;以史为镜,可以知兴替;以人为镜,可以明得失
展开
-
Pandas常用方法
数据处理很多需要用到pandas,有两个基本类型:Series表示一维数据,DataFrame表示多维。以下是一些常用方法的整理:pandas.Series创建 Seriespandas.Series( data, index, dtype, copy)namevaluedata数据采取各种形式,如:ndarray,list,dict, constants(常量)...原创 2019-11-03 17:40:17 · 888 阅读 · 0 评论 -
PCA降维的原理及实现
PCA可以将数据从原来的向量空间映射到新的空间中。由于每次选择的都是方差最大的方向,所以往往经过前几个维度的划分后,之后的数据排列都非常紧密了, 我们可以舍弃这些维度从而实现降维原理内积两个向量的乘积满足:ab=∣a∣⋅∣b∣⋅cos(θ)ab= |a|\cdot |b|\cdot cos(\theta)ab=∣a∣⋅∣b∣⋅cos(θ).如果∣b∣=1|b|=1∣b∣=1的话,ab=∣a...原创 2019-11-03 17:32:13 · 1669 阅读 · 0 评论 -
案例1-Digit-Recognizer
搬运来的步骤一. 数据分析下载并加载数据总体预览数据:了解每列数据的含义,数据的格式等数据初步分析,使用统计学与绘图: 由于特征没有特殊的含义,不需要过多的细致分析二. 特征工程1.根据业务,常识,以及第二步的数据分析构造特征工程.2.将特征转换为模型可以辨别的类型(如处理缺失值,处理文本进行等)三. 模型选择1.根据目标函数确定学习类型,是无监督学习还是监督学习,是分类问...原创 2019-11-03 17:31:39 · 233 阅读 · 0 评论 -
sklearn中的SVM
SVM真的是很复杂的算法,原本以为原理看懂了实现就会很简单,然而事实并不是这样sklearn中对于支持向量机提供了很多模型:LinearSVC, LinearSVR, NuSVC, NuSVR, SVC, SVR参数SVC用于分类,用libsvm实现,参数如下:C : 惩罚项,默认为1.0,C越大容错空间越小;C越小,容错空间越大kernel : 核函数的类型,可选参数为:“l...原创 2019-11-03 17:31:05 · 16724 阅读 · 3 评论 -
支持向量机公式整理(SVM)
支持向量机可以分为三类:线性可分的情况 ==> 硬间隔最大化 ==> 硬间隔SVM近似线性可分的情况 ==> 软间隔最大化 ==> 线性支持向量机线性不可分的情况 ==> 核技巧/软间隔最大化 ==> 非线性SVM硬间隔向量机(hard margin svm)任务:寻找一条与所有支持向量距离最远的决策边界,这条决策边界就是0=wTX+b0 = ...原创 2019-11-03 17:30:35 · 1967 阅读 · 0 评论 -
numpy备忘(2)
x.ravel() 和 x.flatten() : 将多为数组降维到1维.ravel()返回元素的引用(对象不一样,但是元素是引用),flatten()返回新的元素。np.meshgrid(x, y) : 返回两个矩阵(X,Y),由这两个矩阵可以将xy定义的空间中的所有点描述出来。所有的点就是网格中的一个个焦点。# 每次刷新一行的感觉axis = [-2, 2, -2, 2]x0, x1 ...原创 2019-11-03 17:28:30 · 118 阅读 · 0 评论 -
多项式回归 & pipeline & 学习曲线 & 交叉验证
多项式回归就是数据的分布不满足线性关系,而是二次曲线或者更高维度的曲线。此时只能使用多项式回归来拟合曲线。比如如下数据,使用线性函数来拟合就明显不合适了。接下来要做的就是升维,上面的真实函数是:$ y = 0.5x^2 + 2x + 5。而样本数据的形式是(x,y),以这种方式只能训练出。而样本数据的形式是(x, y),以这种方式只能训练出。而样本数据的形式是(x,y),以这种方式只能训练出...原创 2019-11-03 17:27:51 · 1737 阅读 · 0 评论 -
L1、L2-正则化
出现过拟合时,使用正则化可以将模型的拟合程度降低一点点,使曲线变得缓和。L1正则化(LASSO)正则项是所有参数的绝对值的和。正则化不包含theta0,因为他只是偏置,而不影响曲线的摆动幅度。J(θ)=MSE(y,y^)+α∑i=1n∣θi∣J(\theta)=\operatorname{MSE}(y, \hat{y})+\alpha \sum_{i=1}^{n}\left|\theta...原创 2019-11-03 17:26:46 · 386 阅读 · 0 评论 -
三种梯度下降法的对比(BGD & SGD & MBGD)
常用的梯度下降法分为:批量梯度下降法(Batch Gradient Descent)随机梯度下降法(Stochastic Gradient Descent)小批量梯度下降法(Mini-Batch Gradient Descent)简单的算法示例数据x = np.random.uniform(-3,3,100)X = x.reshape(-1,1)y = x * 2 + 5 +...原创 2019-11-03 17:26:06 · 367 阅读 · 0 评论 -
机器学习-梯度下降法的详细推导与代码实现
计算对于线性回归,梯度下降法的目标就是找到一个足够好的向量 θ\thetaθ,使代价函数J(θ)=∑i=1m(y^−yi)2J(\theta) = \sum_{i=1}^{m}(\hat{y}-y_{i})^{2}J(θ)=∑i=1m(y^−yi)2 取得最小值。线性回归的代价函数是关于θ\thetaθ的多元函数。如下:J(θ)=∑i=1m(y^−yi)2=∑i=1m(θx(i)−yi)...原创 2019-09-28 14:49:50 · 741 阅读 · 0 评论 -
机器学习-线性回归
线性回归对于每一个样本数据 x=(x1,x2,...,xn)x=(x_{1},x_{2},...,x_{n})x=(x1,x2,...,xn),希望拟合出一个模型 f(x)。当有新的数据输入时,可以给出误差最小的估计值。假设函数如下:y=f(x)=θ0+θ1x1+θ2x2+...+θnxny = f(x)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{...原创 2019-09-28 14:48:18 · 224 阅读 · 0 评论 -
机器学习-朴素贝叶斯算法
贝叶斯定理w是由待测数据的所有属性组成的向量。p(c|x)表示,在数据为x时,属于c类的概率。p(c∣w)=p(w∣c)p(c)p(w)p(c|w)=\frac{p(w|c)p(c)}{p(w)}p(c∣w)=p(w)p(w∣c)p(c)如果数据的目标变量最后有两个结果,则需要分别计算p(c1|x)和p(c2|x)取最大的值为分类的结果p(c1∣w)=p(w∣c1)p(c1)p(w)...原创 2019-09-20 10:23:27 · 199 阅读 · 1 评论 -
机器学习-决策树算法
信息增益香农熵: 指混乱程度,越混乱,值越大信息增益(information gain): 在划分数据集前后信息发生的变化称为信息增益(香农熵的差)基尼不纯度也可度量集合的无序程度香农熵的计算公式如下:H=−∑i=1np(xi)log2p(xi)H=-\sum_{i=1}^{n}p(x_{i})log_{2}p(x_{i})H=−i=1∑np(xi)log2p(xi)...原创 2019-09-12 22:06:58 · 214 阅读 · 0 评论