《机器学习》西瓜书第15期
文章平均质量分 88
《机器学习》西瓜书第15期读书笔记
西风瘦马1912
在美留学生,从事可穿戴设备工作
展开
-
【西瓜书笔记】13. 隐马尔科夫模型(3)
近似算法近似算法思想:在每个时刻t选择在该时刻最有可能出现的状态it∗i_{t}^{*}it∗,从而得到一个状态序列I∗=(i1∗,i2∗,…,iT∗)I^{*}=\left(i_{1}^{*}, i_{2}^{*}, \ldots, i_{T}^{*}\right)I∗=(i1∗,i2∗,…,iT∗),将它作为预测的结果。具体算法如下:给定隐马尔科夫模型λ\lambdaλ和观测序列OOO, 在时刻t处于状态qiq_iqi的概率γt(i)\gamma_{t}(i)γt(i)是γt(i)=α原创 2022-04-04 03:24:33 · 253 阅读 · 0 评论 -
【西瓜书笔记】12. 隐马尔科夫模型(2)
监督学习方法假设已给出训练数据包含S个长度相同的观测序列和对应的状态序列{(O1,I1),(O2,I2),…,(OS,IS)}\left\{\left(O_{1}, I_{1}\right),\left(O_{2}, I_{2}\right), \ldots,\left(O_{S}, I_{S}\right)\right\}{(O1,I1),(O2,I2),…,(OS,IS)}那么可以利用极大似然估计法来估计隐马尔科夫模型,具体方法如下转移概率aija_{ij}aij的估计:aij=Ai原创 2022-04-03 00:55:23 · 1255 阅读 · 0 评论 -
【西瓜书笔记】11. 隐马尔科夫模型(1)
定义定义:隐马尔科夫模型(Hidden Markov Model, HMM)是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔科夫链速记生成的状态的序列,成为状态序列。每一个状态生成一个观测,而由此产生的观测的随机序列,成为观测序列,序列的每一个位置又可以看做是一个时刻。假设Q是所有N种可能的状态的集合:Q={q1,q2,…,qN}Q=\left\{q_{1}, q_{2}, \ldots, q_{N}\right原创 2022-03-27 00:25:03 · 778 阅读 · 0 评论 -
【西瓜书笔记】10. 高斯混合模型
定义定义:P(x)=∑i=1kαi⋅ϕ(x∣μi,Σi)P(\boldsymbol{x})=\sum_{i=1}^{k} \alpha_{i} \cdot \phi\left(\boldsymbol{x} \mid \boldsymbol{\mu}_{i}, \boldsymbol{\Sigma}_{i}\right)P(x)=i=1∑kαi⋅ϕ(x∣μi,Σi)该模型共由k个混合成分组成,每个混合成分对应一个高斯分布,其中, x∈Rn\boldsymbol{x} \in \mathbb{原创 2022-03-21 04:29:21 · 404 阅读 · 0 评论 -
【西瓜书笔记】9. EM算法(下)
接上一篇Q(θ∣θ(i))=∑j=1N{μj(i+1)ln[πpyj(1−p)1−yj]+(1−μj(i+1))ln[(1−π)qyj(1−q)1−yj]}Q\left(\theta \mid \theta^{(i)}\right)=\sum_{j=1}^{N}\left\{\mu_{j}^{(i+1)} \ln \left[\pi p^{y_{j}}(1-p)^{1-y_{j}}\right]+\left(1-\mu_{j}^{(i+1)}\right) \ln \left[(1-\pi) q^{原创 2022-03-03 01:42:41 · 106 阅读 · 0 评论 -
【西瓜书笔记】9. EM算法(中)
EM算法求解三硬币模型《统计学习方法》例9.1(三硬币模型):假设有3枚硬币,分别记作A,B,C。这些硬币正面出现的概率分别是 π\piπ ,ppp 和 qqq 。进行如下掷硬币试验: 先掷硬币A,根据其结果选出硬币B或硬币C,正面选硬币B,反面选硬币C;然后掷选出的硬币,掷硬币的结果,出现正面记作1,出现反面记作0;独立地重复n次实验(这里,n=10),观测结果如下1,1,0,1,0,0,1,0,1,11,1,0,1,0,0,1,0,1,11,1,0,1,0,0,1,0,1,1假设只能观测到掷原创 2022-03-03 01:40:53 · 270 阅读 · 0 评论 -
【西瓜书笔记】8. EM算法(上)
EM算法的引入引入EM算法的原因:概率模型有时候既含有观测变量,又含有隐变量或者潜在变量。如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或者贝叶斯估计法估计模型参数。但是当模型含有隐变量时,就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法。EM算法的例子《统计学习方法》例9.1(三硬币模型):假设有3枚硬币,分别记作A,B,C。这些硬币正面出现的概率分别是 π\piπ ,ppp 和 qqq 。进行如下掷硬币试验: 先掷硬币A,根据其结果选原创 2022-02-26 10:47:41 · 602 阅读 · 0 评论 -
【西瓜书笔记】补充5:图模型,EM算法,神经网络补充
概率图模型把概率模型用图的方式表示出来。条件随机场(crf)工业界用的最多,能很自然的与深度学习融合到一起。从logistic到crf假设一共有nnn个标签类别{yi}i=1n\left\{y_{i}\right\}_{i=1}^{n}{yi}i=1n, mmm个特征,{xi}i=1m,x1=1\left\{x_{i}\right\}_{i=1}^{m}, x_{1}=1{xi}i=1m,x1=1,这里x1x_1x1是偏置。所以有:p(y1∣x)=1Z(x)exp(∑i=1mθ1,i原创 2022-02-26 02:22:04 · 689 阅读 · 0 评论 -
【西瓜书笔记】补充4:降维与特征选择
1.维度灾难与数据维度维度灾难的理解数据特征维度非常多的时候引起的灾难。假设在每一个特征空间中,取值范围都是[0, 1]。如果一个样本能够cover住0.1×0.1×0.10.1\times0.1\times0.10.1×0.1×0.1小空间中的所有其他样本,也就是这个样本能够作为其他所有在这个小空间中样本的预测值(KNN近邻思想)。那么如果有3个特征维度,就需要10310^{3}103个这样的小立方空间去cover所有的空间。如果有4个特征维度, 就需要10410^{4}104个这样的小立方空间去co原创 2022-02-21 04:34:30 · 904 阅读 · 0 评论 -
【西瓜书笔记】补充3:树模型补充.md
CART:Classification and Regression Tree. 基础更多集中在CART树模型中。树模型的基本思路就是对训练集进行划分,使得划分后的集合的纯度变得“更纯”。因此问题的要点在于:如何定义集合的纯度。(划分前和划分后)如何对集合进行划分。(选择哪个特征和阈值)如何确定叶子节点的值。(决定了预测结果)CART模型纯度CART模型既能解决分类,也能解决回归问题。在面对分类问题的时候,使用熵和GINI指数。在面对回归问题时,使用方差。GINI指数的公式Gini.原创 2022-02-14 09:50:25 · 687 阅读 · 0 评论 -
【西瓜书笔记】补充2:SVM建模方式、SVM优化方法和核函数
一、SVM的建模模型一:从logistic到SVMLogistic损失函数如下:J(θ)=C∗[1n∑i=1n(y(i)log(p(i))+(1−y(i))log(1−p(i)))]+∥θ∥2J(\theta)=\mathrm{C}*\left[\frac{1}{n} \sum_{i=1}^{n}\left(y^{(i)} \log \left(p^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-p^{(i)}\right)\right)\rig原创 2022-02-07 04:03:40 · 1961 阅读 · 0 评论 -
【西瓜书笔记】补充1:logistic回归及其损失函数,梯度下降推导
Logistic回归理论知识补充建模流程假设我们建立一个二分类模型。假设有两个人A、B在争论如何对一个新样本xxx进行0-1二分类,他们两个分别对新样本进行打分,如果A的分数大于B的分数,则样本被预测为1,反之则被预测为0。假设两人的打分分数可以通过线性回归进行预测建模y1=θ1x+ϵ1,ϵ1∼N1(0,δ)y2=θ2x+ϵ2,ϵ2∼N2(0,δ)\begin{aligned}&y_{1}=\theta_{1} x+\epsilon_{1}, \epsilon_{1} \sim N_{1原创 2022-02-03 12:46:05 · 1690 阅读 · 0 评论 -
【西瓜书笔记】7.神经网络结构
7.1 感知机7.1.1 感知机定义定义:假设输入空间是X⊆Rn\mathcal{X} \subseteq R^{n}X⊆Rn, 输出空间是Y={1,0}\mathcal{Y}=\{1,0\}Y={1,0}。输入x∈Xx \in \mathcal{X}x∈X表示实例的特征向量, 对应于输入空间的点;输出y∈Yy \in \mathcal{Y}y∈Y表示实例的类别。由输入空间到输出空间的如下函数f(x)=sgn(wTx+b)f(\boldsymbol{x})=\operatorname{sgn}\l原创 2022-01-31 05:25:54 · 1664 阅读 · 0 评论 -
【西瓜书笔记】6.极大似然估计与朴素贝叶斯
6.1 贝叶斯判定准则贝叶斯判定准则:为最小化总体风险,只需在每个样本上选择那个能使条件风险R(c∣x)R(c \mid x)R(c∣x)最小的类别标记,即h∗(x)=argminc∈YR(c∣x)h^{*}(\boldsymbol{x})=\underset{c \in \mathcal{Y}}{\arg \min } R(c \mid \boldsymbol{x})h∗(x)=c∈YargminR(c∣x)此时,h∗h^{*}h∗称为贝叶斯最优分类器【这里的R和h∗h^{*}h∗针对原创 2022-01-30 08:00:08 · 896 阅读 · 0 评论 -
【西瓜书笔记】5. 软间隔与支持向量机回归
5.1 软间隔SVM之前我们使用的是严格线性可分的硬间隔SVM:minw,b12∥w∥2 s.t. 1−yi(wTxi+b)⩽0,i=1,2,…,m\begin{array}{ll}\min _{\boldsymbol{w}, b} & \frac{1}{2}\|\boldsymbol{w}\|^{2} \\\text { s.t. } & 1-y_{i}\left(\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}_{i}+原创 2022-01-26 09:37:37 · 227 阅读 · 0 评论 -
【西瓜书笔记】4. 支持向量机
4.1 超平面wTx+b=0\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+b=0wTx+b=0法向量恒垂直于超平面和法向量方向相同的点(与w\boldsymbol{w}w夹角θ\thetaθ小于90度的向量)代入超平面方程恒大于等于0,否则恒小于等于0 (与w\boldsymbol{w}w夹角θ\thetaθ大于90度的向量)法向量和位移项唯一确定一个超平面等倍缩放法向量和位移项超平面不变。点到超平面距离公式推导证明:r=∣wTx+b∣∥w∥原创 2022-01-24 01:59:48 · 666 阅读 · 0 评论 -
【西瓜书笔记】3. 决策树
3.1 决策树基本流程一颗决策树包括:根节点:包含样本全集若干内部节点:对应属性测试若干叶子结点:对应决策结果结点包含的样本集合根据属性测试划分到子节点中国基本流程遵循分而治之伪代码:【来源:花书page74】决策树算法是典型的递归算法。三种递归返回情况:当前节点包含的样本权属同一个类别,无需划分当前属性集为空,或者所有样本属性相同,无法划分。标记当前结点为叶子结点,类别设定为该节点所含样本最多的类别。实质上利用当前结点的后验分布当前结点包含的样本集合为空,不能划分。标记当前原创 2020-12-06 04:28:51 · 369 阅读 · 0 评论 -
【西瓜书笔记】2. 对数几率回归
2.1 对数几率回归模型指数族分布是一类分布的总称,该类分布的分布律(概率密度函数)的一般形式如下:p(y;η)=b(y)exp(ηTT(y)−a(η))=b(y)exp[η(θ)⋅T(y)−A(θ)]=b(y)exp(η(θ)⋅T(y)−A(θ))=b(y)exp(η(θ)⋅T(y)−A(θ))p(y;\eta) = b(y)\exp(\eta^{T}T(y)-a(\eta)) \\= b(y) \exp [\eta(\theta) \cdot T(y)-A(\theta)]\\= b(原创 2020-12-05 02:09:43 · 424 阅读 · 0 评论 -
【西瓜书笔记】1. 一元线性回归
任务标题:绪论+线性模型推导任务简介:1、学习机器学习绪论,了解预备知识,认识群内其他小伙伴,下载书籍电子版,提前自己预习观看2、学习西瓜书3.1/3.2/3.3,观看西瓜书公式推导学习指南和线性模型公式推导视频任务详解:1、本部分是机器学习的绪论部分,对于这部分的学习,我并未让大家去阅读西瓜书的第一章的绪论部分,因为那部分对于初学者来讲太难了,应该就是天书,越看越蒙,这部分内容希望大家在学习完整个机器学习课程后,再回头看就好。为了让大家更轻松更好的去理解机器学习,我们特此做了这个视频,主要讲述了原创 2020-12-04 14:06:17 · 186 阅读 · 0 评论