机器学习
风化记忆
这个作者很懒,什么都没留下…
展开
-
机器学习资料
转自 http://blog.csdn.net/dream_angel_z/article/details/48525973学习Machine Learning也有很长一段时间了,前段时间在paper中应用了GTB(Gradient Tree Boosting)算法。在我的数据集上GTB的performance比Random Forest要稍微强一点,整个experiment做完之后,转载 2017-05-28 19:24:52 · 502 阅读 · 0 评论 -
机器学习资料汇总
《Brief History of Machine Learning》介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning.《Deep Learning in Neural Networks: An Overview》介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最转载 2017-05-28 19:29:20 · 2825 阅读 · 0 评论 -
统计学习方法-第一章统计学习方法概论
1. 统计学习的方法是基于数据构建统计模型从而对数据进行预测与分析。统计学习由监督学习,非监督学习,半监督学习和强化学习等组成。2. 输入变量和输出变量都是连续变量,称为回归问题;输出变量为有限个离散变量的预测问题为分类问题;输入变量和输出变量均为变量序列的预测问题称为标注问题。3. 统计学习常用的损失函数 0-1损失函数,平方损失函数,绝对损失函数,对数损失函数;大数定律:...原创 2019-02-27 15:45:18 · 292 阅读 · 0 评论 -
统计学习方法-第二章感知机
1. 感知机是二类分类的线性分类模型, 感知机旨在学习将训练数据进行线性划分的超平面。假设是数据线性可分。2. 定义 损失函数使用梯度下降算法求解 ...原创 2019-02-27 17:34:00 · 175 阅读 · 0 评论 -
统计学习方法-第三章K近邻
k近邻的三要素:距离度量,k值的选择,分类决策规则距离的度量:欧式距离,曼哈顿距离,无穷范式K值的选取:k值得选择会对k近邻的结果产生重大的影响如果选择较小的K值,就相当于用较小的邻域中的训练实例进行预测,“学习”的近似误差会减小,只有输入实例较近的训练实例才会对预测结果起作用。但缺点是“学习”的估计误差会增大,预测结果会对近邻实例点非常敏感。如果邻近的实例点恰巧是噪声,预测就会出错。...原创 2019-02-28 01:03:07 · 243 阅读 · 0 评论 -
统计学习方法-第四章朴素贝叶斯
1. 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y/X)。具体地,利用训练数据学习P(X/Y)和P(Y)的估计,然后得到联合概率分布P(X,Y)概率估计方法极大似然估计或者贝叶斯估计。2. 由于条件独立性的假设,包含的条件概率大为减少,学习与预测大为简化,高效易实现,分类性能不一定高。 ...原创 2019-02-28 15:41:58 · 152 阅读 · 0 评论 -
统计学习方法-第五章决策树
1.决策树学习的三步骤:特征选择,决策树的生成,决策树的修剪。2.主要由ID3,C4.5,CART树。3. 从所有决策树中选取最优决策树是NP完全问题,现实中通常采用启发式的方式,近似求解这一优化问题,这样得到的决策树是次最优的。4.随机变量X熵的定义 熵是表示随机变量不确定性的衡量信息增益(ID3):样本集合D对特征A的信息增益其中K是类别数,n是A取值的个数。是D中...原创 2019-02-28 16:22:10 · 214 阅读 · 0 评论 -
算法
1. 什么是高斯过程2. 为什么神经网络能学习很复杂的参数3. 为什么分布选择高斯分布(大数极限定理)4. 决策树的建立过程,信息增益,基尼指数。5. 随机森林为什么效果好6. 估计量跟样本有什么关系7.过拟合的原因是什么,有哪些解决方法8. 为什么dropout可以解决过拟合9. 为什么有残差网络?好处是什么10. 排序算法的最小复杂度11. f(x) 凹...原创 2019-02-26 22:34:02 · 193 阅读 · 0 评论 -
统计学习方法-第七章支持向量机
Q: 为什么要把原问题转换为对偶问题?A:因为原问题是凸二次规划问题,转换为对偶问题更加高效。并且可以引入核函数Q: 为什么求解对偶问题更加高效?A:因为只用求解alpha系数,而alpha系数只有支持向量才非0,其他全部为0.Q:alpha系数有多少个?A:样本点的个数Q: SVM怎么防止过拟合?A:引入松弛变量Q:LR和SVM有什么不同吗?A:(...原创 2019-03-17 14:49:26 · 262 阅读 · 0 评论