- 博客(5)
- 收藏
- 关注
RSS订阅转载 决策树的原理推导
决策树算法原理(CART分类树)CART回归树 决策树的剪枝 决策树可以作为分类算法，也可以作为回归算法，同时特别适合集成学习比如随机森林。 1. 决策树ID3算法的信息论基础 1970年昆兰找到了用信息论中的熵来度量决策树的决策选择过程，昆兰把这个算法叫做ID3。 熵度量了事物的不确定性，越不确定的事物，熵就越大。随机变量X的熵的表达式如下： 其中n代表X的n种不同的离散取值。而pi代表了X取值为i的概率，l...
2020-05-26 16:38:14
518
转载 算法的时间复杂度
算法的时间复杂度和空间复杂度-总结 通常，对于一个给定的算法，我们要做 两项分析。第一是从数学上证明算法的正确性，这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。而在证...
2020-05-06 21:49:10
1060
转载 SVD用于图像压缩
最近学习线性代数的有关东西，在看到奇异值分解（svd）时，发现了一个在图像压缩上的应用。奇异值分解：在线性代数中，我们知道对任意一个矩阵都存在奇异值分解，，其中U和V是标准正交矩阵，而是一个对角矩阵，每一个对角元是该矩阵的奇异值，奇异值指的是矩阵的特征值开根号。其具体分解形式如下： 其中将A展开得将...
2018-05-18 14:46:57
2855
5
转载 常用最优化方法
1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding方便，是训练模型的必备利器之一。2. 几个数学概念1) 梯度（一阶导数）考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么，某一点的梯度方向是在该点坡度最陡的方向，而梯度的大小告诉我们坡度到底...
2018-05-18 14:14:15
9293
转载 机器学习新手算法速查
来源：机器之心参与：黄小天、蒋思源、吴攀校对：谭佳瑶本文长度为4000字，建议阅读6分钟本文针对算法的选择为你提供一些参考意见。本文主要的目标读者是机器学习爱好者或数据科学的初学者，以及对学习和应用机器学习算法解决实际问题抱有浓厚兴趣的读者。面对大量的机器学习算法，初学者通常会问自己一个典型的问题：「...
2018-05-18 13:46:50
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人