![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Machine Learning基础理论
永恒的秋天
Explorer
展开
-
Locally weighted linear regression局部加权线性回归
局部加权线性回归Locally weighted linear regression原创 2017-07-01 15:59:50 · 406 阅读 · 0 评论 -
Gaussian Discriminant Analysis model 第一个生成学习算法模型
这是课程讲到的第一个生成学习算法,它将对p(x|y)建模。它要解决分类问题,此例中y只取0或1,x取连续量。对此模型的定义:y显然是伯努利分布,这里我们假设了x服从多维正态分布。具体展开上面的概率分布:我们依然用最大化拟然函数的方法得到各参数的最优值:(与前面稍有不同,前面我们用p(y|x)来得出拟然函数,但这里我们为了简化计算,采用p(x,y)得出,事实上,两原创 2017-07-16 13:24:42 · 520 阅读 · 0 评论 -
Generalized Linear Models广义线性模型
原创 2017-07-11 19:11:26 · 258 阅读 · 0 评论 -
Classification and logistic regression离散型:分类问题
当事件结果取值离散,只有有限个时,不再适合用线性回归。假设现在取值只有0,1:我们实际上可以利用这一点,做出更好的预测。我们选择假设函数:至于为什么选这个,以后会讲到。如果学过电子技术的话,会发现这个函数g很像阶跃函数:它在z小于0时取值近似0,z大于0时近似为1.假设函数h的取值介于0-1之间,与其直接把它当作最终结论取值,把它当作概率值更加合适:我们假设原创 2017-07-01 16:55:10 · 442 阅读 · 0 评论 -
线性回归中成本函数的由来
原创 2017-06-30 19:47:11 · 1513 阅读 · 0 评论 -
linear regression 基础概念,线性回归
在学习这门课前,必须有一定的微积分,线性代数和概率论知识基础,否则很难理解,整个课程都建立在数学的根基上。原创 2017-06-30 19:20:33 · 439 阅读 · 0 评论 -
Reinforcement Learning and Markov decision processes 加强学习
ReinforcementLearning and Control在监督学习中,数据带有标签,标签实际上就是对相应输入的“绝对正确答案”,而在很多问题中,难以找到这样的正确答案,决策过程分为很多步,这时可以提供一个奖励函数作为反馈,当算法决策的好时进行奖励,否则惩罚,此文先介绍马尔可夫决策过程Markov decision processes (MDP)。马尔可夫决策过程是一个五元组:(S原创 2018-01-16 21:51:02 · 285 阅读 · 0 评论 -
Factor analysis 主成分分析
上篇博文介绍了EM算法用于拟合混合高斯模型,但是当数据个数远小于特征维度时,高斯模型难以使用,因为维度高时需要更多数据来充分拟合模型,以单高斯分布建模为例:由最大化拟然函数可得:此时方差矩阵不可逆,所以模型不能工作。可能的解决方法:1 限制方差矩阵可以限制矩阵只有主对角线非0,这样实质上是抛弃了特征之间的某些关系,其实没有很好的学习到数据特征。2因子分析模型原创 2018-01-15 20:28:48 · 406 阅读 · 0 评论 -
K-means算法与EM算法
K-means是一种无监督学习算法,能够对无标签的数据集进行聚类。基本思想:1初始化若干个聚类中心;2将每个训练数据分配给某个聚类中心,作为该类的一员,依据经常是点的距离3更新每个聚类中心为该类所有点坐标的平均值4重复以上直到收敛(中心不再变化)形式化描述:上图中,k是类的个数,事先人为确定。k-means保证收敛,但并不能保证有效。初始中心点选的不好时可能原创 2018-01-14 18:24:48 · 1024 阅读 · 0 评论 -
model selection 模型选择
假设现有一个有限的模型集合M,如何自动的选出适合的模型,避免偏差与方差失衡情形?1交叉验证将训练样例分为两部分,Strain和Scv,选择模型时只用Strain,然后用Scv评分,选最优的。这样实际上是用泛化误差评分的。七三开是最常用的比例。缺点是浪费了训练数据。即使选择完后重新用整个训练集训练,但在选择最优模型时依然只用了一部分,导致择优效果下降。k折交叉验证将数据分为k原创 2018-01-13 17:49:07 · 3749 阅读 · 0 评论 -
Bias/variance tradeoff 样本误差与泛化误差分析
欠拟合/过拟合在这里叫做偏差/方差权衡一般的,欠拟合指假设函数不能较好的拟合样本数据,比如实际样本数据是二次函数,用一次函数无论如何都不能很好地拟合。或者可以理解为,无论样本多么充足,函数依然不能学习到真实问题的结构。过拟合指假设函数过于复杂,挖掘出了有限个样本数据中的某些奇怪的,实际并不存在特征联系,导致在样本集上误差很低,但泛化误差(非样本数据上)却很高。定义偏差bias为即使训练原创 2018-01-12 17:23:01 · 544 阅读 · 0 评论 -
support vector machine SVM 支持向量机算法
接上篇最优间隔分类器,考虑其最优化方法:SVM计算算法:SMO原创 2018-01-11 18:59:35 · 234 阅读 · 0 评论 -
The optimal margin classifier 最优间隔分类器
本节是为了支持向量机做准备。原创 2018-01-11 14:46:33 · 264 阅读 · 0 评论 -
GDA 和logistic回归的联系
上篇博文中的GDA算法中,如果我们把p(y=1|x)整理变形一下,就能得到这是logistic回归的h函数。实质上,当我们假设p(x|y)服从正态分布时,p(y=1|x)必然是logistic函数,但反过来不成立,也就是说,前者是更强的假设,当我们对问题做更强的假设时,往往就能更精确地找到问题地解,当然前提时假设正确。或基本正确。更一般地,只要我们对p(x|y)的建模属于GLM指数分布原创 2017-07-16 15:33:44 · 1107 阅读 · 0 评论 -
Generative Learning algorithms生成学习算法
在之前的算法如线性回归等,都是对p(y|x;θ)直接建模,也就是,我们通过学习样本数据,得到在参数θ下,给定输入x时y的概率分布,也就是待预测值的概率分布,从而达到预测的目的。这是判别式学习算法。我们可以变化思考角度,来对p(x|y;θ)建模,也许能更好地解决某些问题,这是生成学习算法。也就是说我们对在参数θ下,给定结论y后,输入特征的概率分布建模。举个例子,假设我们要分辨动物是猫还是狗,我们可以原创 2017-07-16 09:26:58 · 241 阅读 · 0 评论 -
Naive Bayes与Laplace smoothing 朴素贝叶斯算法拉普拉斯平滑
原创 2017-07-19 10:34:17 · 4601 阅读 · 0 评论