![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Serendipity1007
这个作者很懒,什么都没留下…
展开
-
决策树的原理推导
决策树算法原理(CART分类树)CART回归树 决策树的剪枝 决策树可以作为分类算法,也可以作为回归算法,同时特别适合集成学习比如随机森林。 1. 决策树ID3算法的信息论基础 1970年昆兰找到了用信息论中的熵来度量决策树的决策选择过程,昆兰把这个算法叫做ID3。 熵度量了事物的不确定性,越不确定的事物,熵就越大。随机变量X的熵的表达式如下: 其中n代表X的n种不同的离散取值。而pi代表了X取值为i的概率,l...转载 2020-05-26 16:38:14 · 512 阅读 · 0 评论 -
机器学习新手算法速查
来源:机器之心参与:黄小天、蒋思源、吴攀校对:谭佳瑶本文长度为4000字,建议阅读6分钟本文针对算法的选择为你提供一些参考意见。本文主要的目标读者是机器学习爱好者或数据科学的初学者,以及对学习和应用机器学习算法解决实际问题抱有浓厚兴趣的读者。面对大量的机器学习算法,初学者通常会问自己一个典型的问题:「...转载 2018-05-18 13:46:50 · 199 阅读 · 0 评论 -
常用最优化方法
1. 前言熟悉机器学习的童鞋都知道,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单,coding方便,是训练模型的必备利器之一。2. 几个数学概念1) 梯度(一阶导数)考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么,某一点的梯度方向是在该点坡度最陡的方向,而梯度的大小告诉我们坡度到底...转载 2018-05-18 14:14:15 · 9287 阅读 · 0 评论 -
SVD用于图像压缩
最近学习线性代数的有关东西,在看到奇异值分解(svd)时,发现了一个在图像压缩上的应用。奇异值分解:在线性代数中,我们知道对任意一个矩阵都存在奇异值分解,,其中U和V是标准正交矩阵,而是一个对角矩阵,每一个对角元是该矩阵的奇异值,奇异值指的是矩阵的特征值开根号。其具体分解形式如下: 其中将A展开得将...转载 2018-05-18 14:46:57 · 2851 阅读 · 5 评论