机器学习
简之
这个作者很懒,什么都没留下…
展开
-
统计学习方法(1) 理论基础
基本概念:1、基本假设:统计学习假定数据存在一定的统计规律,监督学习关于数据的基本假设就是假设X和Y具有联合概率分布P(X, Y)。2、假设空间(模型):监督学习的模型可以是概率模型或非概率模型,由条件概率分布P(Y|X)或决策函数Y=f(X)表示,随具体学习方法而定。对具体的输入进行相应的输出预测时,写作P(y|x)或y=f(x)。3、策略:在假设空间中选取模型f作为决策函数,对...原创 2018-10-01 19:24:32 · 991 阅读 · 0 评论 -
从后验概率到逻辑回归,从逻辑回归到神经网络
从后验概率到逻辑回归,从逻辑回归到神经网络1. 后验概率对于给定数据,我们首先假设数据是由某种分布产生的,这样,根据贝叶斯公式我们可以得到后验概率分布,将后验概率最大的类作为xxx的类输出。后验概率计算根据贝叶斯定理进行:(1)P(Y=ck∣X=x)=p(X=x∣Y=ck)P(Y=ck)∑kp(X=x∣Y=ck)P(Y=ck)P(Y=c_k|X=x) = {p(X=x|Y=c_k)P(Y=c...原创 2019-05-07 13:52:07 · 3011 阅读 · 1 评论 -
机器学习算法的一般结构
1. 算法框架跟把大象放进冰箱里一样,李宏毅老师将机器学习方法总结为三步,如下:总结来说,就是如下三步:Define a set of function(Model)Goodness of function(Objective Function)Pick the best function(Gradient Descent)所有机器学习算法都满足这个架构,所以提到一种算法,我们就...原创 2019-05-13 17:48:02 · 1534 阅读 · 0 评论 -
统计学习方法(7)前向分步算法推导AdaBoost的详细过程
由前向分步算法可以推导Adaboost,用定理叙述这一关系:定理:AdaBoost算法是前向分步加法算法的特例。这时,模型是由基本分类器组成的加法模型,损失函数是指数函数。证明:前向分步算法学习的是加法模型,当基函数为基本分类器时,该加法模型等价于AdaBoost的最终分类器:f(x)=∑m=1MαmGm(x)f(x) = \sum_{m=1}^{M} \alpha_{m}G_{m}(x...原创 2019-04-19 17:25:23 · 1061 阅读 · 2 评论 -
用GBDT构建组合特征
用GBDT构建组合特征原创 2019-04-13 19:42:28 · 4522 阅读 · 3 评论 -
GBDT(sklearn/lightgbm)调参小结
GBDT(sklearn/lightgbm)调参小结原理参数选择特征重要度原创 2019-04-13 19:37:36 · 20824 阅读 · 11 评论 -
机器学习:支持向量机(SVM)
SVMhttps://blog.csdn.net/xianlingmao/article/details/7919597原创 2018-10-24 16:19:54 · 832 阅读 · 0 评论 -
降维(二) 线性判别分析(Linear Discriminant Analysis)
降维(二) LDA原创 2018-10-20 18:39:54 · 1711 阅读 · 0 评论 -
降维(一) 主成分分析(Principal Components Analysis)
降维(一) PCA为什么需要降维?\qquad如果我们希望模型的精度比较高,或者说泛化误差率较小,那么我们希样本的采样密度足够大(密采样),即在任意样本xxx附近任意小的δ\deltaδ距离范围内总能找到一个样本。\qquad假设所有样本在其属性上归一化,对于δ=0.001\delta=0.001δ=0.001,仅考虑单个属性,需要1000个样本点平均分布在其取值范围内,可以保证所有样本...原创 2018-10-20 14:04:09 · 874 阅读 · 0 评论 -
统计学习方法(6)梯度提升决策树GBDT
统计学习方法(6)boosting、AdaBoost和GBDT原创 2018-10-06 16:55:34 · 1911 阅读 · 0 评论 -
统计学习方法(5)集成学习(提升方法):bagging和boosting
统计学习方法(4)bagging和随机森林原创 2018-10-06 15:57:30 · 1498 阅读 · 0 评论 -
统计学习方法(4)决策树
统计学习方法(4)决策树决策树是一种基本的分类与回归方法。决策树的学习过程:特征的选择决策树的生成决策树的修剪决策树生成只考虑了通过提高信息增益(或信息增益比)对训练数据进行更好的拟合,而决策树剪枝通过优化损失函数还考虑了减少模型复杂度。决策树生成学习局部的模型决策树剪枝学习整体的模型1、决策树的选择特征选择在于选取对训练数据具有分类能力的特征,划分数据集的大原则是:将...原创 2018-10-06 13:05:58 · 500 阅读 · 0 评论 -
统计学习方法(3)逻辑回归(Logistic Regression)
统计学习方法(3)逻辑回归1、从线性回归到逻辑回归(模型)1.1 线性模型:给定数据集{(x1,y1),(x2,y2),...,(xn,yn)}\{(x_1, y_1), (x_2,y_2),...,(x_n,y_n)\}{(x1,y1),(x2,y2),...,(xn,yn)},求参数ω\omegaω满足如下回归模型:y^=ω0+ω1x1+ω2x2+...+ωnxn\hat ...原创 2018-10-04 18:52:19 · 1134 阅读 · 0 评论 -
统计学习方法(2)感知机
统计学习方法(2)原创 2018-10-02 17:25:43 · 355 阅读 · 0 评论 -
SVM的梯度下降解释及其算法比较
首先说明一点,SVM的算法原理和其它机器学习算法是一致的,其中引入了两个最核心的概念就是hinge loss和kernel trick,这篇本章主要结合这两个部分说明SVM。...原创 2019-05-13 16:18:27 · 8090 阅读 · 1 评论