机器学习
天堂的鸽子
扎实学习,努力成为一名合格的IT从业者.
展开
-
【NLP基础】常见的距离公式说明
零,基本知识预备在二维平面中,设有两个向量 a→=(x1,y1)\overrightarrow{a}=(x_1,y_1)a=(x1,y1) , b→=(x2,y2)\overrightarrow{b}=(x_2,y_2)b=(x2,y2) ,θ\thetaθ 为 a→\overrightarrow{a}a 和 b→\overrightarrow{b}b 的夹角,则有:1)a→\over...原创 2019-11-09 11:40:12 · 931 阅读 · 0 评论 -
【机器学习基础】相关向量机
本系列为《模式识别与机器学习》的读书笔记。一,⽤于回归的 RVM相关向量机(relevance vector machine)或者 RVM(Tipping, 2001)是⼀个⽤于回归问题和分类问题的贝叶斯稀疏核⽅法,它具有许多 SVM 的特征,同时避免了 SVM 的主要的局限性。此外,通常会产⽣更加稀疏的模型,从⽽使得在测试集上的速度更快,同时保留了可⽐的泛化误差。给定⼀个输⼊向量 x\...原创 2019-10-24 22:46:35 · 7367 阅读 · 1 评论 -
【机器学习基础】最大边缘分类器
本系列为《模式识别与机器学习》的读书笔记。一,最大边缘分类器考察线性模型的⼆分类问题,线性模型的形式为y(x)=wTϕ(x)+b(7.1)y(\boldsymbol{x})=\boldsymbol{w}^{T}\boldsymbol{\phi}(\boldsymbol{x})+b\tag{7.1}y(x)=wTϕ(x)+b(7.1)其中 ϕ(x)\boldsymbol{\phi}(...原创 2019-10-24 20:44:16 · 1693 阅读 · 1 评论 -
【机器学习基础】核方法
本系列为《模式识别与机器学习》的读书笔记。一,对偶表示有这样⼀类模式识别的技术:训练数据点或者它的⼀个⼦集在预测阶段仍然保留并且被使⽤。许多线性参数模型可以被转化为⼀个等价的“对偶表⽰”。对偶表⽰中,预测的基础也是在训练数据点处计算的核函数(kernel function)的线性组合。对于基于固定⾮线性特征空间(feature space)映射 ϕ(x)\boldsymbol{\phi}(...原创 2019-10-23 10:06:49 · 820 阅读 · 0 评论 -
【机器学习基础】贝叶斯神经网络
本系列为《模式识别与机器学习》的读书笔记。一,混合密度网络作为逆问题,考虑机械臂的运动学问题。正向问题(forward problem)是在给定连接角的情况下求解机械臂末端的位置,这个问题有唯⼀解。然⽽,在实际应⽤中,我们想把机械臂末端移动到⼀个具体的位置,为了完成移动,必须设定合适的连接角。正向问题通常对应于物理系统的因果关系,通常有唯⼀解。图5.29~5.30,图5.29给展⽰了⼀个...原创 2019-10-19 11:43:05 · 1242 阅读 · 0 评论 -
【机器学习基础】神经网络正则化
本系列为《模式识别与机器学习》的读书笔记。一,相容的⾼斯先验神经⽹络的输⼊单元和输出单元的数量通常由数据集的维度确定,⽽隐含单元的数量 MMM 是⼀个⾃由的参数,可以通过调节来给出最好的预测性能。控制神经⽹络的模型复杂度来避免过拟合,根据对多项式曲线拟合问题的讨论,⼀种⽅法是选择⼀个相对⼤的 MMM 值,然后通过给误差函数增加⼀个正则化项,来控制模型的复杂度。最简单的正则化项是⼆次的,给...原创 2019-10-19 11:31:12 · 960 阅读 · 0 评论 -
【机器学习基础】Hessian矩阵
本系列为《模式识别与机器学习》的读书笔记。一,Hessian 矩阵反向传播也可以⽤来计算误差函数的⼆阶导数,形式为∂2E∂wji∂wkl\frac{\partial^{2}{E}}{\partial{w_{ji}}\partial{w_{kl}}}∂wji∂wkl∂2E注意,有时将所有的权值和偏置参数看成⼀个向量(记作 w\boldsymbol{w}w )的元素 wiw_iw...原创 2019-10-16 09:47:50 · 4964 阅读 · 2 评论 -
【机器学习基础】前馈神经网络
本系列为《模式识别与机器学习》的读书笔记。一,前馈神经网络1,前馈神经网络基于固定⾮线性基函数 ϕj(x)\phi_{j}(\boldsymbol{x})ϕj(x) 的线性组合,形式为y(x,w)=f(∑j=1Mwjϕj(x))(5.1)y(\boldsymbol{x},\boldsymbol{w})=f\left(\sum_{j=1}^{M}w_{j}\phi_{j}(\bold...原创 2019-10-16 09:39:03 · 608 阅读 · 0 评论 -
【机器学习基础】概率判别式模型
本系列为《模式识别与机器学习》的读书笔记。一,概率判别式模型考察⼆分类问题,对于⼀⼤类的类条件概率密度 p(x∣Ck)p(\boldsymbol{x}|\mathcal{C}_k)p(x∣Ck) 的选择, 类别 C1\mathcal{C}_1C1 后验概率分布可以写成作⽤于 x\boldsymbol{x}x 的线性函数上的logistic sigmoid函数的形式。类似地,对于多分类的...原创 2019-10-11 09:32:13 · 1109 阅读 · 0 评论 -
【机器学习基础】概率生成式模型
本系列为《模式识别与机器学习》的读书笔记。一,概率生成式模型⾸先考虑⼆分类的情形。类别 C1\mathcal{C}_1C1 的后验概率可以写成p(C1∣x)=p(x∣C1)p(C1)p(x∣C1)p(C1)+p(x∣C2)p(C2)=11+exp(−a)=σ(a)(4.36)\begin{aligned}p(\mathcal{C}_1|\boldsymbol{x})&=\f...原创 2019-10-11 09:16:47 · 782 阅读 · 1 评论 -
【机器学习基础】判别函数
本系列为《模式识别与机器学习》的读书笔记。一,分类线性模型概述分类的⽬标是将输⼊变量 x\boldsymbol{x}x 分到 KKK 个离散的类别 Ck\mathcal{C}_kCk 中的某⼀类。 最常见的情况是, 类别互相不相交, 因此每个输⼊被分到唯⼀的⼀个类别中。因此输⼊空间被划分为不同的决策区域(decision region),它的边界被称为决策边界(decision boun...原创 2019-10-09 23:20:39 · 2063 阅读 · 0 评论 -
【机器学习基础】贝叶斯线性模型
本系列为《模式识别与机器学习》的读书笔记。一,贝叶斯线性回归1,参数分布关于线性拟合的贝叶斯⽅法的讨论,⾸先引⼊模型参数 w\boldsymbol{w}w 的先验概率分布。现在这个阶段,把噪声精度参数 β\betaβ 当做已知常数。⾸先,由公式(3.8)定义的似然函 数 p(t∣w)p(t|\boldsymbol{w})p(t∣w) 是 w\boldsymbol{w}w 的⼆次函数的指数...原创 2019-10-07 21:37:14 · 1744 阅读 · 0 评论 -
【机器学习基础】线性基函数模型
本系列为《模式识别与机器学习》的读书笔记。一,线性基函数模型1,线性基函数回归问题的⽬标是在给定 DDD 维输⼊(input) 变量 x\boldsymbol{x}x 的情况下, 预测⼀个或者多个连续⽬标(target)变量 ttt 的值。通过将⼀组输⼊变量的⾮线性函数进⾏线性组合, 我们可以获得⼀类更加有⽤的函数, 被称为基函数(basis function)。回归问题的最简单模型...原创 2019-10-07 20:40:16 · 3196 阅读 · 0 评论 -
【机器学习基础】概率分布之指数族分布
本系列为《模式识别与机器学习》的读书笔记。一,指数族分布1,指数族分布基本概念参数为 η\boldsymbol{\eta}η 的变量 x\boldsymbol{x}x 的指数族分布定义为具有下⾯形式的概率分布的集合公式(2.106):p(x∣η)=h(x)g(η)exp{ηTμ(x)}p(\boldsymbol{x|\eta}) = h(\boldsymbol{x})g(\bold...原创 2019-09-29 20:35:53 · 1508 阅读 · 0 评论 -
【机器学习基础】概率分布之高斯分布
本系列为《模式识别与机器学习》的读书笔记。一,多元高斯分布考虑⾼斯分布的⼏何形式,⾼斯对于 x\boldsymbol{x}x 的依赖是通过下⾯形式的⼆次型公式(2.30):Δ2=(x−μ)TΣ−1(x−μ)\Delta^{2} = (\boldsymbol{x} - \boldsymbol{\mu})^{T} \boldsymbol{\Sigma}^{-1}(\boldsymbol{x...原创 2019-09-29 18:11:43 · 1686 阅读 · 0 评论 -
【机器学习基础】概率分布之变量
本系列为《模式识别与机器学习》的读书笔记。1,二元变量考虑⼀个⼆元随机变量 x∈{0,1}x \in \{0, 1\}x∈{0,1}。 例如,xxx 可能描述了扔硬币的结果,x=1x = 1x=1 表 ⽰“正⾯”,x=0x = 0x=0 表⽰反⾯。我们可以假设有⼀个损坏的硬币,这枚硬币正⾯朝上的概率未必等 于反⾯朝上的概率。x=1x = 1x=1 的概率被记作参数 μ\muμ,因此有公式(...原创 2019-09-29 15:49:07 · 380 阅读 · 0 评论 -
【机器学习基础】总论
本系列为《模式识别与机器学习》的读书笔记。一, 概率论1,离散型随机变量概率假设随机变量 XXX 可以取任意 的 xix_ixi ,其中 i=1,… .,Mi = 1, \dots. , Mi=1,….,M ,并且随机变量 YYY 可以取任意的 yjy_jyj ,其中 j=1,…,Lj = 1,\dots , Lj=1,…,L。考虑 NNN 次试验,其中我们对 XXX 和 YYY 都...原创 2019-10-07 22:29:21 · 437 阅读 · 0 评论 -
【机器学习基础】从回归问题引基础:多项式曲线拟合
本系列为《模式识别与机器学习》的读书笔记。举例:多项式曲线拟合假设给定一个训练集。这个训练集由 xxx 的 NNN 次观测组成,写作 x≡(x1,…,xN)T\mathbf{x}\equiv(x_1,\dots, x_N)^Tx≡(x1,…,xN)T ,伴随这对应的 ttt 的观测值,记作 t≡(t1,…,tN)T\mathbf{t}\equiv (t_1,\dots, t_N)^T...原创 2019-09-17 21:46:01 · 991 阅读 · 0 评论