![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
隐藏玩家
这个作者很懒,什么都没留下…
展开
-
dimensionality reduction
降维主成分分析用于将多元数据集分解为一系列连续正交分量,这些分量解释了最大方差。引入:当想要将二维数据降为一维时可以观察到数据降维与线性回归的相似性。对于上述左侧图形而言,是求样本点与预测值的垂直线距离,而右图需要计算的是样本点到直线的垂直线距离的最小值,求解出来之后再做投影处理。PCA:寻找一个低纬度的平面对数据进行投影,以便最小化每个点与投影后的对应点之间的距离的平方值。PCA...原创 2019-10-20 15:24:25 · 297 阅读 · 0 评论 -
线性最小二乘法
example:f(x)=12∥Ax−b∥22f(x) = \frac{1}{2}\parallel Ax - b \parallel_2^2f(x)=21∥Ax−b∥22最小化下式时x的值。首先计算:▽xf(x)=AT(Ax−b)=ATAx−ATb\bigtriangledown_xf(x) = A^T(Ax - b) =A^TAx - A^Tb▽xf(x)=AT(Ax−b)=AT...原创 2019-10-20 15:20:43 · 261 阅读 · 0 评论 -
normal linear model
正则化线性模型线性模型减少过度拟合的方法之一对模型正则化,它拥有的自由度越低,就越不容易过度拟合数据,比如将多项式模型正则化的简单方法降低多项式的阶数。比如将多项式正则化的简单化方法就是降低多项式的阶数。 【 正则化:约束它】而对线性模型来说,正则化通常通过约束模型的权重来实现的。岭回归岭回归是线性模型的正则化版本,在成本函数中增加一个α∑i=1nθi2\alpha\sum_{i=1}^n...原创 2019-07-23 15:55:28 · 501 阅读 · 0 评论 -
logistics regression
逻辑回归用于估算一个实例属于某个特定类别的概率。logistic回归损失函数推导罗列一些基本的公式:p^=hθ(X)=σ(θT⋅X)\hat{p} = h_\theta(X) = \sigma(\theta^T\cdot X)p^=hθ(X)=σ(θT⋅X)逻辑模型是一个sigmoid函数记作σ(⋅)\sigma(\cdot)σ(⋅),它的输出为一个0-1之间数字。逻辑函数:...原创 2019-07-24 14:50:20 · 133 阅读 · 0 评论 -
SVM
notes支持向量机应用领域分类预测异常值的监测。优点and缺点优点:使用与高维空间当特征数大于样本数时,它依然有效。可以为决策函数指定不同的内核函数。缺点:如果特征个数远远大于样本数,核函数应该避免过拟合,正则化项成为关键。SVM不直接提供概率估计,如果想要求概率需要使用昂贵的五倍交叉验证。关于SVM的推导过程假设二维空间中有一条直线:Ax + By + c ...原创 2019-07-25 14:35:22 · 126 阅读 · 0 评论 -
Decision tree
Decision Tree是一种用于分类和回归的监督学习方法,目标是创建一个模型,通过学习从数据特性推断出的简单决策规则来预测目标变量的值。优点易于理解和解释,决策树可以被可视化。几乎不需要数据准备,其他技术通常需要数据规范化,但是请注意,这个模块不支持丢失值,需要创建虚拟变量并删除控制。使用决策树的成本是用于训练树的数据点数量的对数。能够处理多输出问题。使用白盒模型,如果给定的情...原创 2019-07-26 08:51:37 · 192 阅读 · 0 评论 -
regression and classification
meaching learning从接触机器学习到先在应该快有一个对月了, 可以说学习的过程十分痛苦, 但幸运的是我有的耐力还是很好的,并且有一颗平静的心,但慢慢的我对这个学科越来越兴趣了。每天起床都感觉自己好菜啊,成为支持我完成学习的动力。因为机器学习里面的包,函数都是由英文直译的或者是缩写,所以一些关键的名词我会用英文表示。linearRegression线性回归概念: 由若干输入(样本...原创 2019-07-22 15:14:48 · 213 阅读 · 0 评论 -
Ensemble methods
集成方法优点:集成方法的目标是将多个基本估计器的预测与给定的学习算法相结合,从而提高对单个估计器的通用性(泛化能力)。将多个估计器的预测与给定的学习算法相结合,从而提高对单个估计其的通用性。bagging 每个预测器使用算法相同,但是在不同的训练集上进行训练,采样时如果将样本不放回叫做bagging.有放回的叫做pasting。极端随机树随机森林在分裂结点的时候,仅考虑到一个随机...原创 2019-08-09 10:31:23 · 354 阅读 · 0 评论