算法总结
xfx小飞侠
这个作者很懒,什么都没留下…
展开
-
理解梯度下降
理解梯度下降最优化问题导数与梯度推导过程实现细节问题转载 2019-10-21 13:48:40 · 104 阅读 · 0 评论 -
机器学习——逻辑回归
1.逻辑回归与线性回归的联系与区别2.逻辑回归的原理3.逻辑回归损失函数推导及优化4.正则化与模型评估指标5.逻辑回归的优缺点6.样本不均衡问题解决办法7.sklearn参数一 .逻辑回归与线性回归的联系与区别逻辑回归(Logistic Regression)与线性回归(Linear Regression)都属于广义线性回归模型。在分类问题中,预测属于某类的概率,可以看成回归问题...转载 2019-10-18 10:12:33 · 172 阅读 · 0 评论 -
机器学习算法
逻辑斯蒂回归支持向量机决策树AdaBoost 算法梯度提升决策树 GBDT机器学习实践转载 2019-10-17 13:31:11 · 103 阅读 · 0 评论 -
机器学习之XGBOOST全面理解
一:目标函数训练损失和正则化项两部分(1)L:代表损失函数,常见的损失函数平方损失函数:逻辑回归损失函数:(2)y^ : xgboost是一个加法模型,因此预测得分是每棵树打分之和。(3)正则项:k棵数的复杂度之和。第t棵树第t次迭代驯练的模型是ft(x)泰勒展开式x 对应前t-1棵数,^x相当于第t棵树。定义损失函数关于y’(t-1)的一阶偏导数 gi 和二阶偏导数hi...原创 2019-10-15 15:03:56 · 253 阅读 · 0 评论 -
机器学习之 决策树、随机森林
一、决策树选择特征来分割分割方法:ID3、C4.5、CART1.ID3:信息增益来选择最优分割ID3偏向取值较多的属性,例如ID列2.C4.5:信息增益率选择最优分割信息增益 / IV属性A的特征个数越多,IV越大。信息增益率又会偏向较少的特征。C4.5先找出信息增益高于平均水平的属性,再从中选择增益率最高的。对于连续属性采用二分法,从小到大排序,中间值作为分割点,计算信息增益率,...原创 2019-10-14 21:47:35 · 145 阅读 · 0 评论 -
Task1 随机森林
随机森林算法梳理集成学习的概念集成学习(ensemble learning)是时下非常流行的机器学习算法,它本身不是一个单独的机器学习算法,而是通过在数据上构建多个模型,集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影,在现实中集成学习也有相当大的作用,它可以用来做市场营销模拟的建模,统计客户来源,保留和流失,也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛...原创 2019-08-07 18:10:26 · 105 阅读 · 0 评论