![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法
李航博士《统计学习方法》第二版学习笔记
JLUspring
这个作者很懒,什么都没留下…
展开
-
词嵌入模型的发展历程
本文意在梳理如何用向量表示单词来让单词变得可计算的这一nlp问题的发展历程。自然语言处理(Natural Language Processing),曾经也叫做“Computational linguistics”。从名字就能看出,核心就在于让language变得computational,在可以计算的前提下,一切计算机/数学方法才得以使用。这就是word representation的出发点,将...原创 2020-03-10 20:11:47 · 1274 阅读 · 0 评论 -
偏差-方差权衡(bias-variance-tradeoff)
过拟合发生在当我们有一个非常灵活的模型(模型具有高能力)时,其本质上是通过紧密拟合来记住训练数据。这样的问题是模型不仅学到了训练数据中的实际关系,还学习了存在的噪声。灵活的模型具有高方差(variance),因为学到的参数(例如决策树的结构)将随着训练数据的不同而变化很大。另一方面,因为对训练数据做出了假设,所以一个不灵活的模型具有较高的偏差(bias),(它偏向于对数据预先构思的想法)例如,线...原创 2020-02-11 11:12:44 · 708 阅读 · 0 评论 -
极大似然估计、最大后验估计、贝叶斯估计的异同
本文主要是为了区分极大似然估计、最大后验估计、贝叶斯估计的异同。对三种方法的详细步骤不做阐述。贝叶斯公式:分母的全概率公式是用来求P(B)B为观测变量,A为待求参数。极大似然估计:极大似然估计认为A为一个常数,于是P(A)=1.而且它只需求出最大值所在的点,因此求导为0即可。解释一下‘’‘如抛硬币5正4负,设正面概率为p,则F(p)=a * p^5 * (1-p)^4式中p的...原创 2020-02-03 16:24:55 · 714 阅读 · 0 评论 -
KNN与K-means的异同
原创 2020-01-28 08:29:43 · 488 阅读 · 0 评论 -
激活函数
首先概括性的介绍一下为什么要引入激活函数:给模型引入非线性因素。比如,最简单的二分类感知机,其没有线性函数,完全是线性叠加,所以只能线性分类,例如在二维平面找一条直线y=kx+b进行分类,感知机只能训练出来k和b,可知其效果一般。为了在模型中引入非线性因素:可使训练更好的拟合数据,我们可以引入激活函数。直白解释一下,如果二维平面上点分布成这样对第一幅图进行分类就要一些弯弯绕绕的分类线刚好将...原创 2020-01-06 10:47:32 · 210 阅读 · 0 评论 -
基于模型的协同过滤
推荐算法具有非常多的应用场景和商业价值,因此对推荐算法值得好好研究。推荐算法种类很多,但是目前应用最广泛的应该是协同过滤类别的推荐算法,本文就对协同过滤类别的推荐算法做一个概括总结,后续也会对一些典型的协同过滤推荐算法做原理总结。推荐算法概述 推荐算法是非常古老的,在机器学习还没有兴起的时候就有需求和应用了。概括来说,可以分为以下5种:1)基于内容的推荐:这一类一般依赖于自然语言处...转载 2020-01-05 14:55:51 · 8649 阅读 · 0 评论 -
基于内容的推荐算法
与上文基于基于人口统计学的推荐算法有所不同。基于内容的推荐算法是根据物品特征标签,发现物品的相关性,再基于用户过去的喜好记录,为用户推荐相似的物品。基于人口统计学的推荐算法是基于用户的身份信息如年龄、职业等,并没有对物品特征进行刻画。如:a和c都喜欢动作爱情类型的电影,如果c看了一部动作爱情的电影,则有较大概率a也喜欢看。...原创 2020-01-05 14:37:07 · 371 阅读 · 0 评论 -
基于人口统计学的推荐算法
基于人口统计学的推荐算法,简而言之,就是提高建立用户画像,比对不同的用户画像,找出关联关系,并以此进行推荐。如:通过用户的注册信息可知a与c均为25~30岁的年轻女性,所以其兴趣有较大可能相似,于是将a喜欢的物品推荐给c可能获得较好的效果。基于人口统计学的推荐算法不涉及到用户对物品的历史偏好数据,所以对于新用户来说,只要有他(她)的基本信息就可以进行推荐,不存在“冷启动”问题;而且该推荐算法...原创 2020-01-05 14:33:02 · 3126 阅读 · 0 评论 -
推荐算法基础之协同过滤
推荐算法兴起的原因是解决信息过载问题。对于信息过载问题,常见有两种解决方式——搜索引擎和推荐算法。搜索引擎是用户已经有明确需求于是上网搜索,但其会有马太效应,即越流行的越流行,长期不被人关注的东西越来越被人遗忘。推荐算法是用户需求不明确,推荐系统通过用户的历史行为或者用户的兴趣偏好或者用户的人口统计学特征来为用户推荐,且推荐算法可完美呈现长尾理论,即曝光度低的物品可能获利不低。作为推荐系...原创 2020-01-05 08:18:45 · 514 阅读 · 0 评论 -
概率图模型
早期机器学习一般来说都是概率图模型(PGM),概率图模型分为1.有向图模型,也称为贝叶斯网(BayesianNetwork,BN),其网络结构使用有向无环图;其可以显示出一个变量是否是另外一个变量的先验。2.无向图模型,也称为马尔可夫网(MarkovNetwork,MN),其网络结构为无向图;其只能说明二者存在联系。3. 局部有向模型,即同时存在有向边和无向边的模型,包括条件随机场(Cond...原创 2020-01-05 07:54:45 · 130 阅读 · 0 评论 -
统计学习方法三要素
李航老师认为:统计学习方法分为三个方面:模型+策略+算法。模型是要学习的条件概率分布或决策函数(对于统计或非统计模型来说)。即输入空间到输出空间的函数族或者条件概率族策略是选择模型的准则。一般准则就是最小化风险函数。损失函数为一次预测的好坏,而风险函数是损失函数的期望。风险函数又分为经验风险函数和结构风险函数。经验风险函数适用于数据量足够的情况,例如极大似然估计。但当其数据量较小时会出现过拟...原创 2020-01-03 21:44:30 · 317 阅读 · 0 评论 -
统计学习方法——统计学习的分类
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科。其可以理解为计算机系统通过运用数据及统计方法提高系统性能的机器学习。现在我们谈论的机器学习,往往就是统计机器学习。原创 2020-01-03 12:26:58 · 796 阅读 · 0 评论