![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
统计学习方法
文章平均质量分 93
李航《统计学习方法》第二版的笔记,内含大量原文引用,章节以原文为准,笔记的章节仅代表顺序
oldmao_2000
人工不智能,机器不学习。
展开
-
第十五章15.2矩阵奇异值分解基本定理
文章目录本章内容奇异值分解基本定理前提假设证明本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式本章内容对应书本章节主要学习内容习目标矩阵奇异值分解基本定理构造法证明的3步骤掌握矩阵奇异值分解过程正交变换正交补空间的性质理解正交补空间的秩与相关运算奇异值与特征向量的关系正交特征向量的构造及对奇异值的影响掌握奇异值的求法与数学性质奇异值分解的案例运算简单与复杂矩阵的奇异值分解简化法理解原创 2021-05-11 19:21:25 · 803 阅读 · 0 评论 -
第十五章15.1矩阵奇异值分解步骤
文章目录本章内容矩阵的奇异值分解正交矩阵矩阵的奇异值分解本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式本章内容任务简介:学习矩阵奇异值分解的定义与基本定理,理解奇异值分解的紧凑和截断形式、几何解释、主要性质,掌握奇异值分解的主要步骤。本章讲了矩阵奇异值分解的基本原理与实现过程。通过学习第1节,理解奇异值分解的定义与性质,掌握奇异值分解基本定理;通过学习第2节,掌握奇异值分解的计算-5步法;第3节描述奇异值分解与矩阵近似的关系,引入弗原创 2021-05-10 20:16:08 · 1652 阅读 · 0 评论 -
第十四章聚类方法.14.3K均值聚类
文章目录主要内容k均值聚类的定义样本空间划分k均值聚类策略算法步骤本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式主要内容k均值聚类的定义:类的中⼼、硬聚类样本空间划分:特征向量、类与簇、从样本到类的函数k均值聚类策略:损失函数最⼩化损失函数的定义:各类损失函数的表达式与异同点聚类算法总结:迭代算法、新类中⼼、收敛k均值聚类实例:运⽤算法逐步求解聚类过程k均值聚类算法特性:收敛性、初始类的选择、类别数k的选择k均值聚类工作原创 2021-05-08 12:00:08 · 1767 阅读 · 1 评论 -
第十四章聚类方法.14.2.5有序样本分类法
文章目录主要内容算法功能与数据类型有序聚类步骤定义类的直径定义分类的损失函数最优解的求法例子:本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式主要内容算法功能与数据类型:理解算法定义与适⽤样本数据类型类的直径:每类直径D(i,j)的表达式与数学性质分类的损失函数:分类损失函数L[b(n,k)]的定义与表达式最优解的求法:最优分点的确定与迭代过程损失函数递推公式:递推公式与最优化案例分析:类间距离计算:运⽤欧⽒距离度量各间距离D原创 2021-05-06 15:46:21 · 3652 阅读 · 12 评论 -
第十四章聚类方法.14.2.4确定最佳聚类数
文章目录主要内容确定最佳聚类数本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式主要内容确定最佳聚类数初步方法:理解给定阈值法,数据点散布图法总离差平方和的分解:SST=SSA+SSE聚类相关统计量:R2R^2R2统计量定义与表达式理解统计量法:半偏R2R^2R2统计量:半偏R2R^2R2统计量定义与表达式理解统计量法:伪F统计量:伪F统计量定义与表达式理解统计量法:伪t2t^2t2统计量:伪t2t^2t2统计量定义与表达式理解原创 2021-05-05 20:51:18 · 3161 阅读 · 1 评论 -
第十四章聚类方法.14.2.3距离公式证明
文章目录主要内容系统聚类法的性质1、 单调性2、 空间的浓缩和扩张系统聚类法的比较本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式主要内容系统聚类法单调性:定义与表达式,实际含义定义法证明单调性:由定义证明最长距离法、最短距离法的单调性公式法证明单调性:由距离递推公式证明类平均法、可变类平均法、可变法、Ward法的单调性重心法的距离递推公式:证明方法a与bWard法的距离递推公式:基于重心法距离递推公式的证明空间的浓缩与扩张:原创 2021-04-19 16:35:19 · 2503 阅读 · 0 评论 -
第十四章聚类方法.14.2聚合聚类 距离公式介绍
文章目录主要内容聚合聚类的具体过程聚合聚类算法与案例系统聚类法基本思想八种距离方法本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式主要内容聚合聚类的具体过程:距离或相似度、合并规则、停止条件聚合聚类算法与案例:算法流程、基于欧式距离的层次聚类过程系统聚类法基本思想:类间距离、对称表、递推公式最短距离法与最长距离法:定义距离与递推公式中间距离法:几何意义与递推公式类平均法与可变类平均法:定义距离与递推公式离差平方和法与可变法:原创 2021-04-18 20:49:55 · 7884 阅读 · 1 评论 -
第十四章聚类方法.14.2.1距离与相似度
文章目录主要内容层次聚类欧式距离的缺陷闵可夫斯基距离的缺陷兰⽒距离⻢⽒距离斜交空间距离相似系数的算法夹角余弦本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式主要内容层次聚类类型:硬聚类、软聚类;聚合聚类、分裂聚类定义理解欧氏与闵氏距离的缺陷分析:欧氏距离、闵可夫斯基距离的适用范围兰氏距离:表达式与数学性质,距离适用范围马氏距离:表达式与数学性质,距离适用范围斜交空间距离:表达式与数学性质,距离适用范围相似系数的算法:两个n维变原创 2021-04-18 18:51:11 · 821 阅读 · 0 评论 -
第十四章聚类方法.14.1聚类的基本概念
文章目录主要内容相似度或距离本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式主要内容1.相似度或距离:相似度的定义与适用范围2.闵可夫斯基距离:表达式与数学性质3.马哈拉诺比斯距离:表达式与数学性质,同闵可夫斯基距离的比较4.相关系数:表达式与数学性质,局限性,相关计算5.夹角余弦:不同类型夹角余弦的表达式与比较6.相似度:概念含义与相关计算7.类或簇概念含义与应用范围8.类与类之间的距离:各类距离表示法的公式与比较相似度原创 2021-04-17 20:49:43 · 445 阅读 · 0 评论 -
第十一章条件随机场.11.2 拟牛顿法
文章目录牛顿法拟牛顿法本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式牛顿法对于一个无约束最优化问题minx∈Rnf(x)\underset{x\in \R^n}{\min}f(x)x∈Rnminf(x)假设f(x)f(x)f(x)具有二阶连续偏导数,通过迭代方法寻找最优点xxx,即x(1)→x(2)→⋯→x(k)→x(k+1)→⋯x^{(1)}\rightarrow x^{(2)}\rightarrow\cdots \right原创 2021-04-14 12:08:35 · 241 阅读 · 1 评论 -
第十一章条件随机场.11.1 导论
文章目录前言概率无向图模型团条件随机场的定义与形式条件随机场的相关问题总结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言任务简介:理解条件随机场和相应的算法。该算法可以用于标注问题。通过学习第1节,了解概率无向图的定义和因子分解形式;了解线性链条件随机场的定义及三种形式;理解条件概率和期望的前向-后向算法;掌握条件随机场的预测算法。通过学习第2节,掌握拟牛顿法;通过学习第3节,掌握条件随机场的矩阵形式。学习目标:0.导读视频。原创 2021-04-13 20:04:50 · 115 阅读 · 0 评论 -
第十章隐马尔科夫模型.10.3 维特比算法
文章目录前情回顾算法思想算法描述本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前情回顾预测算法是要根据参数λ\lambdaλ和观测链OOO预测状态链III。解决这个问题有两种方式,一种是近似算法,一种是维特比算法,今天要学习后者,维特比算法实际是用动态规划(dynamic programming)解隐马尔可夫模型预测问题,即用动态规划求概率最大路径(最优路径)。这时一条路径对应着一个状态序列。算法思想如上图所示,第一个时间步t=原创 2021-04-13 12:42:58 · 169 阅读 · 0 评论 -
第十章隐马尔科夫模型.10.2 前向算法
文章目录导入前向算法后向算法本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式导入为了解决概率计算时间复杂度过高的问题,通常我们使用前向后向结合的算法来求解。最终复杂度为:O(TN2)O(TN^2)O(TN2).先引入新变量:αt(j)=P(o1,⋯ ,otit=qj∣λ),j=1,2,⋯ ,N\alpha_t(j)=P(o_1,\cdots,o_ti_t=q_j|\lambda),j=1,2,\cdots,Nαt(j)=P(o1,原创 2021-04-12 14:35:13 · 188 阅读 · 0 评论 -
第十章隐马尔科夫模型.10.1 导论
文章目录前言本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言任务简介:学习隐马尔科夫模型中的三个基本问题。第10章介绍了隐马尔科夫模型。通过学习第1节,了解隐马尔科夫模型的三要素和三个基本问题;通过学习第2节,理解隐马尔可夫模型概率计算中的前向算法和后向算法;通过学习第3节,掌握维特比算法。学习目标:1.了解隐马尔科夫模型的三要素和三个基本问题。2.掌握隐马尔可夫模型概率计算中的向前算法。3.理解维特比算法。4.掌握高斯混原创 2021-04-12 13:37:19 · 153 阅读 · 0 评论 -
第9章EM算法及推广.9.2 高斯混合模型
文章目录高斯混合模型GMM明确隐变量完全数据的表示及对数似然函数E步,确定Q函数M步本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式高斯混合模型GMM这节讲用EM解GMM假设观测数据y1,y2,⋯ ,yNy_1,y_2,\cdots,y_Ny1,y2,⋯,yN由多个高斯模型混合生成,可以写成:P(y∣θ)=∑k=1Kαkϕ(y∣θk)P(y|\theta)=\sum_{k=1}^K \alpha_k\phi(y|\theta_原创 2021-04-08 19:50:53 · 160 阅读 · 0 评论 -
第9章EM算法及推广.9.1 导论
本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言任务简介:理解EM算法的思想和E步、M步的求解过程。详细说明:第9章介绍了EM算法,EM算法用于含有隐变量的概率模型的参数估计。EM算法不是一个具体的分类或回归算法,而是广泛用于含有隐变量的模型的求解问题。通过学习第1节,掌握EM算法E步和M步的求解过程;通过学习第2节,需要掌握在高斯混合模型中如何用EM算法估计参数。学习目标:0.导读视频。1.通过例题9.1掌握EM算法E步和M原创 2021-04-08 13:16:32 · 284 阅读 · 0 评论 -
第八章提升方法.8.2 AdaBoost的训练误差
文章目录训练误差训练误差原创 2021-04-07 14:39:19 · 388 阅读 · 1 评论 -
第八章提升方法.8.2 前向分步算法
文章目录算法描述小结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式算法描述AdaBoost算法还有另一个解释,即可以认为AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二类分类学习方法。通俗的说就是原始的AdaBoost算法可以用前向分步算法来描述,二者等价其实在第一节里面已经用到前向分步算法了。先回顾一下AdaBoost算法:f(x)=∑m=1MαmGm(x),Gm(x)∈[−1,+1]f(原创 2021-04-06 15:48:22 · 167 阅读 · 0 评论 -
第八章提升方法.8.1 导论
文章目录前言提升方法Adaboost算法提升树本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言学习第8章提升方法任务简介:学习AdaBoost算法和提升树。本章介绍了AdaBoost算法和提升树。在第1节的学习中,掌握AdaBoost算法的求解过程;通过学习第2节,理解AdaBoost算法与前向分步算法的关系;在第3节中,了解AdaBoost算法训练误差的性质。学习目标:0.导读视频。1.掌握AdaBoost算法的求解过程。原创 2021-03-31 20:27:26 · 117 阅读 · 0 评论 -
第七章支持向量机.7.2间隔分离最大化的存在唯一性
文章目录存在性唯一性本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式定理7.1(最大间隔分离超平面的存在唯一性)若训练数据集T线性可分,则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。存在性minw,b12∣∣w∣∣2s.t.yi(w⋅xi+b)−1≥0i=1,2,⋯ ,N\underset{w,b}{\min}\cfrac{1}{2}||w||^2 \\\text{s.t.}\quad y_i\left(w原创 2021-03-29 21:54:28 · 595 阅读 · 1 评论 -
第七章支持向量机.7.1 导论
文章目录前言基础知识最优超平面非线性划分小结线性SVM相关概念的数学表达超平面参数求解软间隔最大化核函数序列最小最优化算法(SMO)总结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言学习第7章支持向量机,理解线性可分支持向量机、线性支持向量机和非线性支持向量机。详细说明:第7章介绍了支持向量机如何用于二分类问题。通过学习第1节,掌握线性可分支持向量机与感知机的区别,了解对应的凸优化问题、对偶问题及相应的算法,掌握软间隔最大化对应原创 2021-03-24 14:42:54 · 312 阅读 · 0 评论 -
第六章逻辑斯蒂回归与最大熵模型.6.2 改进的迭代尺度法
文章目录前情回顾求改变量求下界求下界的下界本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前情回顾上节没有写拉格朗日乘子求解最大熵的过程和最后结果,最后结果应该是这个样子:Pw(y∣x)=1Zw(x)exp(∑i=1nwifi(x,y))(1)P_w(y|x)=\cfrac{1}{Z_w(x)}\exp\left(\sum_{i=1}^nw_if_i(x,y)\right\tag1)Pw(y∣x)=Zw(x)1exp(i=1∑原创 2021-03-22 21:35:51 · 176 阅读 · 2 评论 -
第六章逻辑斯蒂回归与最大熵模型6.1逻辑斯蒂回归与最大熵
文章目录前言导入逻辑斯蒂回归定义参数估计p93总结最大熵约束条件求解过程总结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言学习第6章逻辑斯谛回归与最大熵模型任务简介:理解逻辑斯蒂回归的模型形式和求解方法,了解最大熵模型的思想和求解方法。详细说明:第6章介绍的逻辑斯蒂回归与最大熵模型都属于对数线性模型,都用来解决分类问题。通过学习第1节,需要掌握逻辑斯蒂回归的模型形式和似然函数,理解最大熵模型的思想和求解方法;通过学习第2节,了原创 2021-03-21 19:48:05 · 193 阅读 · 0 评论 -
第五章决策树.5.2 剪枝
文章目录导入剪枝剪枝算法本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式导入模型常常会出现过拟合的现象,造成过拟合的原因有:1.训练epoch太多(解决方法是早停)2.模型太复杂(降低模型复杂度:减少参数,网络层数减少,剪枝)剪枝1.复杂的模型结构往往可能会造成过拟合的现象。2.剪枝的目的是在决策树构造结束后,去裁掉部分枝桠以此降低模型复杂度。后剪枝:生成树之后再剪枝。预剪枝:在生成树的过程中干预生成过程,使得模型倾向于不原创 2021-03-21 13:27:42 · 539 阅读 · 0 评论 -
第五章决策树.5.1 导论
文章目录前言导入信息熵例子信息熵与决策树信息增益本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言掌握决策树模型的思想和算法。详细说明:第5章介绍的决策树模型即可以解决分类问题也可以解决回归问题,本书重点介绍分类问题。通过学习第1节,了解决策树模型的基本思想,了解选择分类特征的两个准则:信息增益和信息增益比,理解两个准则下对应的两种决策树算法,了解决策树模型中如何通过剪枝控制模型复杂度,掌握基尼系数的计算方法和CART算法。学习目原创 2021-03-20 20:05:33 · 151 阅读 · 0 评论 -
第四章朴素贝叶斯法.4.3 期望风险最小化
文章目录后验概率最大化推导本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式后验概率最大化后验概率最大化等价于期望风险最小化已知条件:假设朴素贝叶斯使用0-1损失函数,可以写为:L(Y,f(x))={1, if Y≠f(x)0, if Y=f()xL(Y,f(x))=\begin{cases} &1, \text{ if } Y\ne f(x) \\ &0, \text{原创 2021-03-17 10:16:04 · 1225 阅读 · 1 评论 -
第四章朴素贝叶斯法.4.2 贝叶斯估计
文章目录前情回顾贝叶斯估计例子4.2本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式+前情回顾上节讲朴素贝叶斯算法的时候有3个步骤,第一个步骤公式的条件概率:P(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)∑i=1NI(yi=Ck)j=1,2,⋯ ,n;l=1,2,⋯ ,Sj;k=1,2,⋯ ,KP(X^{(j)} = a_{jl}|Y=c_k)=\cfrac{\sum_{i=1}^NI(x_i^{(j原创 2021-03-16 20:11:01 · 294 阅读 · 1 评论 -
第四章朴素贝叶斯法.4.1 导论
文章目录前言导入复习:条件概率三豆问题手写数字朴素贝叶斯算法总结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言理解朴素贝叶斯法解决的问题,模型假设、损失函数和估计方法。详细说明:第4章介绍的朴素贝叶斯法依然适用于分类问题。通过学习第1节,需要了解朴素贝叶斯模型的基本思想和模型假设,需要掌握朴素贝叶斯中,极大似然估计的求解方法及对应的算法;通过学习第2节,理解引入贝叶斯估计的原因及贝叶斯估计的求解方法。通过学习第3节,了解后验概率原创 2021-03-16 16:16:27 · 163 阅读 · 0 评论 -
第三章K近邻模型.3.2 KD树
文章目录导入KD树构造构造实例3.2搜索小结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式导入实现k近邻法时,主要考虑的问题是如何对训练数据进行快速k近邻搜索。这点在特征空间的维数大及训练数据容量大时尤其必要。原始k近邻法的实现方法是线性扫描(linear scan),也就是要计算输入实例与每一个训练实例的距离。例如训练集有10w个样本,新加入一个样本的时候,就要和之前的10w个样本分别计算距离,从而判别新样本的类别。为了提高k近邻原创 2021-03-15 16:39:36 · 341 阅读 · 0 评论 -
第三章K近邻模型.3.1 导论
文章目录前言回顾和导入:红豆or绿豆?相关概念距离度量K的选择多数表决规则算法描述小结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言学习k近邻算法在分类问题中的应用,理解k近邻法的三要素及模型对应的损失函数。本章讲了如何用k近邻算法进行分类。同学们通过学习第1节,理解k近邻算法的基本思想并掌握k近邻算法如何实现;通过学习第2节,了解关于如何对某一训练数据快速找到相邻的k个示例。学习目标:0.导读视频。1.掌握k近邻算法的原理原创 2021-03-15 14:16:52 · 204 阅读 · 0 评论 -
第二章感知机.2.3 算法收敛性
文章目录铺垫定理2.1证明不等式1不等式2结果总结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式铺垫本节证明,对于线性可分数据集感知机学习算法原始形式收敛,即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。为了便于叙述与推导,将偏置bbb并入权重向量w,记作w^=(wT,b)T\hat w=(w^T,b)^Tw^=(wT,b)T,同样也将输入向量加以扩充,加进常数1,记作x^=(xT,1)T\hat x=原创 2021-03-15 11:21:59 · 463 阅读 · 0 评论 -
第二章感知机.2.2 对偶形式
文章目录原始形式回顾感知机的对偶形式总结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式原始形式回顾输入:训练数据集T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}T={(x1,y1),(x2,y2),⋯,(xN,yN)},其中xi∈X=Rn,yi∈Y={−1,1},i=1,2,⋯ ,Nx_i\in X=R^n,y_i\in Y=原创 2021-03-14 19:35:24 · 178 阅读 · 0 评论 -
第二章感知机.2.1 感知机模型
文章目录前言红豆与绿豆感知机模型感知机的学习策略原始形式算法步骤例2.1小结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式前言理解感知机模型解决的问题,模型形式、学习策略和求解算法。详细说明:第2章讲了在数据线性可分的情况下的感知机模型。通过阅读2.1节,理解感知机模型的基本思想和模型形式;通过阅读2.2节了解感知机模型对应的优化问题的原始形式和对偶形式;2.3节对感知机的收敛性进行了证明。学习目标:0.导读视频。1.掌握感知原创 2021-03-14 14:30:54 · 209 阅读 · 0 评论 -
第一章.统计学习方法概论.1.3梯度下降法
文章目录例子GD数学表示总结本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式梯度下降法是一种迭代算法。选取适当的初值x0x^0x0,不断迭代,更新xxx的值,进行目标函数的极小化,直到收敛。这个方法应该大部分人都很熟悉,在NG和李宏毅的课程里面都有涉及,提几个点。1.这个方法什么时候不适用2.多个极值点的情况是否能保证一定会找到最优点:当目标函数是凸函数时,梯度下降法的解是全局最优解。一般情况下,其解不保证是全局最优解。梯度下降法的收原创 2021-03-13 18:59:24 · 290 阅读 · 0 评论 -
第一章.统计学习方法概论.1.2 极大似然估计
文章目录例子(抛硬币)本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。公式输入请参考:在线Latex公式例子(抛硬币)先要想明白的是,硬币出现某一个面的几率不是0.5,那个是理论上的几率,实际的硬币每个重量,丢的人都会影响某个面出现的几率。我们假设在掷硬币实验中估计出现正面向上的概率为θ\thetaθ,反面向上的概率则为1−θ1-\theta1−θ抛硬币这个事情可以表示为:xi={1, 正 0, 负xi∼B(1,θ)x_i=\begin原创 2021-03-13 15:28:05 · 190 阅读 · 0 评论 -
第一章.统计学习方法概论.1.1导论
文章目录前言监督学习统计学习的三要素模型评估与选择正则化与交叉验证泛化能力本课程来自深度之眼,部分截图来自课程视频以及李航老师的《统计学习方法》第二版。换了新老师:DODO,跟我读:嘟嘟公式输入请参考:在线Latex公式本节内容都基本学过大概记录一下前言任务标题:学习第1章统计学习方法概论任务简介:理解统计学习方法的一些基本概念。详细说明:第1章是对统计学习中基本思想、基本概念以及常见问题类型的介绍。其中涉及的一些特定的技术不用深究。需要重点理解的内容是模型过拟合的含义、模型泛华能力两部分原创 2021-03-12 16:00:17 · 252 阅读 · 0 评论