机器学习笔记
文章平均质量分 95
仍歌
远山长,云山乱,晓山青。
展开
-
详解决策树、python实现决策树
决策树模型定义决策过程决策树学习特征选择信息增益计算方法ID3算法python实现验证决策树模型定义分类决策树模型是一种描述对实例进行分类的树形结构。决策树由节点(Node)和有向边(directed edge)组成。节点有两种类型:内部节点(internal node)和叶节点(left node)。内部节点表示一个特征或一个属性,叶节原创 2017-12-10 21:57:47 · 39531 阅读 · 19 评论 -
Tensorflow and CNNs 使用tensorflow构建卷积神经网络
本文是我在学习cnn时看到的一个教程,觉得不错,就翻译一下。才疏学浅,如有疏漏,还请见谅。 原文:A Guide to TF Layers: Building a Convolutional Neural Network 是来自TensorFlow的开发者文档TensorFlow的layers模块提供了比较高级的API,使得我们能可以很方便的构建各种神经网络。它提供的方法可以方便的添加翻译 2018-01-28 20:47:51 · 4516 阅读 · 1 评论 -
为什么XGBoost效果更好,速度更快
xgboost 是一种集成学习方法,通过构建多棵决策树来实现分类和回归任务。本文记录了xgboost的公式推导和系统实现的一些trick。具体内容参加原论文《XGBoost: A Scalable Tree Boosting System》模型描述对于一棵决策树,给定以下符号表示∣T∣|T|∣T∣: 此棵树的叶子节点数q(x)q(\textbf{x})q(x): x\textbf{x}...原创 2018-10-25 16:33:59 · 7928 阅读 · 0 评论 -
常用正则化方法总结
有效的正则化策略可以显著的减少方差而不过度增加偏差。参数范数惩罚许多正则化方法会在损失函数中添加一个参数范数惩罚,限制模型(如神经网路、线性回归或逻辑回归)的学习能力J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\tilde J (\pmb{\theta};\boldsymbol{X},\pmb{y} ) = J (\pmb{\theta};\pmb{X},\pmb{y} ) + \al...原创 2019-03-15 15:25:57 · 4825 阅读 · 0 评论 -
集成学习
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务原创 2019-05-29 22:17:19 · 212 阅读 · 0 评论