机器学习
qq184861643
这个作者很懒,什么都没留下…
展开
-
LDA主题模型
1. LDA解决了什么问题通过观测到的文档和词样本,反推文档的主题分布,并求解该分布的参数。所有的文档主题分布(多项式分布)均由迪利克雷先验概率分布生成。对一篇新来的文档,推断它的主题分布。2. LDA模型中文档生成过程首先确定要生成M篇文档,每篇文档有Nm个词,然后:从超参数为α的迪利克雷分布中取样生成文档 i 的主题的多项式分布 θi从 θi 中取样生成文档 i 中第 ...原创 2019-08-13 17:41:00 · 308 阅读 · 0 评论 -
GBDT、Xgboost与LightGBM总结
从Gradient Descend到GBDT集成学习之Boosting —— Gradient Boosting原理Xgboost原理详解XGBoost算法原理小结从GBDT到Xgboost相对于GBDT,Xgboost的优化主要体现在以下三个方面:算法本身的优化:GBDT只支持决策树,Xgboost还支持使用其他弱分类器;GBDT使用损失函数的负梯度(一阶导数)作为分类器的...原创 2019-09-08 23:32:59 · 337 阅读 · 0 评论 -
随机森林模型
1.随机森林算法1.1 随机森林的生成如果训练集大小为N,对于每棵树而言,随机且有放回地从训练集中的抽取n个训练样本(这种采样方式称为bootstrap sample方法),作为该树的训练集;如果每个样本的特征维度为M,指定一个常数m<<M,随机地从M个特征中选取m个特征子集,每次树进行分裂时,从这m个特征中选择最优的;每棵树都尽最大程度的生长,并且一般来说没有剪枝过程。...原创 2019-09-09 23:20:07 · 1228 阅读 · 0 评论