- 博客(2)
- 收藏
- 关注
RSS订阅原创 逻辑回归
1、基本定义假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降法训练参数，最终达到二分类的目的。2、逻辑回归的求解方法梯度下降法三种：批梯度下降法（BGD）、随机梯度下降法（SGD）、小批量（MBGD）梯度下降法。批梯度下降法每次参数更新都用到所有训练数据。优点是能得到全局最优解，缺点是当数据量很大时训练速度慢。随机梯度下降法每次参数更新用到一个样本。优点是能调到新的潜在局部最优解；缺点...
2018-04-24 22:16:58
303
原创 GBDT算法原理及步骤
GBDT方法：从弱学习器出发，训练一系列基分类器，利用加法模型组合起来最终构成一个强分类器，每个基分类器拟合损失函数的负梯度值。加法模型：GBDT基分类器采用CART决策树，树的分裂准则：用于分类时，分裂准则采用基尼指数；用于回归时，分裂准则采用均方误差，即MSE，也可采用MAE或Friedman_MSE(改进型MSE）。GBDT回归用于回归时，损失函数选用： 此时负梯度值为：叶子节点值：初始化：...
2018-04-22 20:17:17
712
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人