数据挖掘
常见的数据挖掘算法
看穿数据之美
机器学习/深度学习/数据挖掘/推荐算法,微信为oppo62258801(同13011197941),邮箱为lcqbit11@163.com,欢迎学习交流!
展开
-
一键安装xgboost-史上最简单安装xgboost的方式
很多同学在学习机器学习过程中,可能会使用到xgboost训练框架,在安装xgboost过程中可能会碰到这样那样的问题,在这里提供一键安装xgboost的方法前置条件:先保证本地已经安装成功了anaconda1首先查看以你要安装的xgboost类型anaconda search -t conda xgboost2由于我的笔记本是mac os系统,因此按照下面的命令一键安装xgb...原创 2020-05-07 17:30:01 · 2460 阅读 · 0 评论 -
机器学习中熵、交叉熵、KL散度(相对熵)之间的关系
文章目录1 信息量2 熵3 相对熵(KL散度)4 交叉熵1 信息量信息的信息量大小和它的不确定性有很大的关系,如果一句话需要很多外部信息才能确定的话,那么这句话的信息就很大,例如你说‘明天可能是晴天’,那你需要去看天气预告等去预测明天是否晴天,有一定的不确定性,如果你说‘今天是周五,明天是周六’,那么这句话就没什么信息量,因为这是既定的事实,确定性很高。因此我们就将事件x_0的信息量定义如下...原创 2020-02-14 12:50:57 · 1157 阅读 · 0 评论 -
Xgboost原理-XGBoost论文精读与总结-A Scalable Tree Boosting System
文章目录xgboost介绍树提升模型正则化的学习目标梯度树提升算法学习率和列采样分裂发现算法精确贪心算法近似算法加权分位数骨架稀疏感知分裂发现算法系统设计用于并行学习的列block时间复杂度分析缓存感知访问用于核外计算的blockxgboost各种tricks总结:xgboost介绍xgboost特点:提出了高效的、可扩展的、端到端的树提升系统;针对系数数据和加权分位数架构提出了一种创新...原创 2019-12-08 19:23:22 · 733 阅读 · 0 评论 -
机器学习正则化方法dropout、Inverted dropout和drop connect的原理及区别
原理介绍在深度学习时代,模型加正则化是一个在被讨论和探索的话题,正则化目的是为了减弱过拟合、增强模型的泛化能力,常用的手段无外乎是在模型属性(包含模型复杂度)、样本量、特征量三者之间的大小的权衡关系上来做文章,而常见的dropout和drop connect的正则化方法就是在模型属性方面做文章,当然也可以解释成因为我们的样本量比较小,所以要通过dropout或者drop connect这...原创 2019-08-31 14:08:46 · 3818 阅读 · 0 评论 -
FM-Factorization Machines
文章目录1.介绍2.FM模型函数及应用2.1 FM模型2.1.1 FM模型&模型的表达能力2.1.2 稀疏数据下的参数估计2.1.3 二阶交叉特征部分的计算2.2 FM的应用2.3 FM参数的更新学习2.4 总结参考资料1.介绍FM-Factorization Machine是一种结合了因式分解模型和SVM模型的优势的新的模型。FM相比于SVM有如下特点:两者都是需要实值特征向量...原创 2019-11-24 17:12:02 · 892 阅读 · 0 评论 -
史上最详细的梯度下降优化算法介绍(从SGD到Adam至Lookahead)
文章目录1.介绍2.常见优化算法2.1 梯度下降法及其变种2.1.1 批梯度下降法2.1.2 随机梯度下降法2.1.3 小批量梯度下降法2.1.4 梯度下降法的缺点2.2 梯度下降法的优化算法2.2.1 Momentum-动量法2.2.2 Nesterov-加速梯度下降法2.2.3 Adagrad-自适应梯度2.2.4 Adadelta2.2.5 RMSprop2.2.6 Adam-自适应矩估计2...原创 2019-11-21 01:22:04 · 18246 阅读 · 1 评论