![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
梦世
这个作者很懒,什么都没留下…
展开
-
部分机器学习算法理论推导:逻辑回归 梯度下降 牛顿法 奇异值分解(SVD) 距离 集成学习 决策树 推介算法
目录 逻辑回归 梯度下降 牛顿法 奇异值分解(SVD) 距离 集成学习 决策树 推介算法 逻辑回归 目标 处理分类问题,二分类的概率预测输出,通过OVA可以用于多分类。OAV将预测的多个类别看作目标类与其他类,两类。 原理 损失函数只有一个局部最优值,因为损失函数是一个连续凸函数。 可解释性:θ的每个元素可以解释为,对结果的贡献的大小。b(x恒为1),b=0,可以判断正负判断是均匀的,b>0说明更容易分为正类。 梯度下降 牛顿法 奇异值分解(SVD)原创 2020-07-03 17:24:00 · 410 阅读 · 0 评论 -
权重森林
决策树是应用广泛的算法。一个包含一个特征的决策树,是在该特征空间上的一维划分,划分的每个区间里包含的类别,即为分类的类别。在决策树中剪枝的各种剪枝策略,使用决策树中组合的随机森林与GBDT等各种算法,都能在机器学习中占有举足轻重的地位。这些算法的学习特征,都是来源于决策树中每个特征的一维空间的划分。这些算法本质上都是从每个特征划分的一维空间,组成的高维空间中提取有用的信息。例如,用样本数据中的特征,每一个特征建立一颗决策树,这样就可以得到每个特征的一维空间划分,所有一维空间组成的高维空间,就是算法求解...原创 2020-07-03 17:11:41 · 239 阅读 · 0 评论