![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 77
EFLYP
这个作者很懒,什么都没留下…
展开
-
集成学习从放弃到再入门之 RF
随机森林维基百科概念分裂:在决策树的训练过程中,需要一次次的将训练数据集分裂成两个子数据集,这个过程就叫做分裂。特征:在分类问题中,输入到分类器中的数据叫做特征。以上面的股票涨跌预测问题为例,特征就是前一天的交易量和收盘价。待选特征:在决策树的构建过程中,需要按照一定的次序从全部的特征中选取特征。待选特征就是在目前的步骤之前还没有被选择的特征的集合。例如,全部的特征是 ABC原创 2018-02-02 14:07:35 · 801 阅读 · 0 评论 -
集成学习从放弃到再入门之GBDT
梯度下降法在机器学习任务中,需要最小化损失函数L(θ),其中θ是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题,它是一种迭代方法。 具体推导为: 这里的α是步长,也就是我们通常所说的学习速率,在深度学习中需要调制的参数,可通过line search确定,但一般直接赋一个小的数。GBDTGBDT是梯度下降法从参数空间上升到函数空间的算法,也是集成学习Boosting家...原创 2018-02-10 08:18:41 · 388 阅读 · 0 评论 -
集成学习从放弃到再入门之XGBOOST
牛顿法牛顿法最初是通过迭代xn+1=xn-f(xn)/f’(xn)用来求函数的零点值f(x)=0,在优化问题中即求解导函数的零点值:迭代xn+1=xn-f’(xn)/f”(xn)使f’(x)=0 GBDT和XGBOOST机器学习算法中GBDT和XGBOOST的区别有哪些? 1. 传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L...原创 2018-04-10 15:16:11 · 686 阅读 · 0 评论 -
从放弃到再入门之拉格朗日对偶问题推导
普通同学的解法无约束条件:求导就可以了等式约束:代入消元,再求导不等式约束:分情况讨论(在边界上和不在边界上),分别对应1,2的情况 然而发现,有些情况消元特别复杂,甚至不能求解聪明同学的解法 发现:在最优点的情况下,约束曲面的法向量和目标函数的梯度反向必相同或相反 拉格朗日乘子法如何理解? (在2维里可以形象的解释为z=f(x,y)在约束条件g(x,y)=c中,极值...原创 2018-04-17 16:15:33 · 17619 阅读 · 5 评论