![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学
SpartanBin
这个作者很懒,什么都没留下…
展开
-
范数
范数,一种表示不同维度距离概念的量: 为范数符号,比如 范数 的计算公式为 ,这也是我们常见的欧氏距离公式。 为绝对值符号, 为x向量的维度。L1范数和L2范数常用于机器学习的正规化,L2更常用一些。...原创 2019-07-02 22:33:34 · 343 阅读 · 0 评论 -
数据归一化、中心化
一般在进行机器学习前需要进行该处理,特别是支持向量机和神经网络,决策树系列就不需要进行该处理。' 是经过归一化、中心化后的训练样本,用以代替原样本, 是平均数, 是方差,注意x' 、 、 、 、σ 等都是向量。注意有时候也可以不中心化(不减 ),或不归一化(不除以 ),甚至都不进行。...原创 2019-07-03 14:50:39 · 711 阅读 · 0 评论 -
常见机器学习降维方法
一般在维度数量很多,严重影响到训练速度的情况下再考虑降维,降维必不可少的会减少原数据的信息量(减小方差)。维数诅咒:越高维的数据,样本分布于边界的成分越大,样本之间的距离越远,样本越稀疏,因此越高维的数据的预测越不可靠,它们基于的推测越大,过拟合的风险也越大。投影类:PCA(主成分分析法):在进行PCA前应进行中心化。PCA的思想是找到最能代表数据特征的超平面(投影后方差减少最...原创 2019-07-03 15:01:18 · 692 阅读 · 0 评论 -
广义线性回归
最小二乘法(Least squares)线性回归:代价函数(loss function损失函数,成本函数):代价函数为均方误差,注意 是向量,代表的是第几个训练样本。优化方法(解方程的方法)一般为正规方程法,在特征数量大的时候,正规方程计算会很缓慢,应该把优化方法替换为梯度下降。正规方程(闭式解):对正规方程的理解可阅读:https://blog.csdn.net/koke...原创 2019-07-03 15:10:20 · 551 阅读 · 0 评论 -
支持向量机
本人的博客写作目的只是为了编程实现,因此更注重算法逻辑和细节,如果对原理感兴趣,推荐看“西瓜书”和“花书”以及以下链接,但不保证链接中的公式都正确:https://www.cnblogs.com/Belter/p/8975606.htmlhttps://blog.csdn.net/qq_35992440/article/details/80987664支持向量机可以分为硬间隔支持向量机...原创 2019-07-04 20:18:46 · 278 阅读 · 0 评论