qq_45791012的博客

回忆上一讲的内容，实际上上一讲的例子就是一个部分可观测MDP的特例。在原LQR问题中有模型st+1=Ast+Bat+wts_{t+1}=As_t+Ba_t+w_tst+1​=Ast​+Bat​+wt​，我们改变了条件，假设只能观测到yt=Cst+vty_t=Cs_t+v_tyt​=Cst​+vt​（不能直接观测到状态，只能观测到某些关于状态的函数，并需要根据这些观测值对最优动作作出判断）。在状态完全可观测的情形下，我们可以根据at=Ltsta_t=L_ts_tat​=Lt​st​选择动作；而在部分可观测的例

在继续学习之前，我们先来回顾一下上一讲的内容：其目标是max⁡aE[R(0)(s0,a0)+R(1)(s1,a1)+⋯+R(T)(sT,aT)]\displaystyle\max_a\mathrm E\left[R^{(0)}(s_0,a_0)+R^{(1)}(s_1,a_1)+\cdots+R^{(T)}(s_T,a_T)\right]amax​E[R(0)(s0​,a0​)+R(1)(s1​,a1​)+⋯+R(T)(sT​,aT​)]；之后我们应用了动态规划算法：VT∗(s)=max⁡aTR(sT,a

首先回顾一下前面关于马尔可夫决策过程的内容。在上一讲中，我们了解了对无限状态MDP的求解，本讲我们将介绍一些做了轻微改动的MDP的变型形式——首先是修改奖励函数RRR，然后是对折扣因子γ\gammaγ的调整。记得在上一讲中，我们提到了无限状态MDP无法直接求解（我们使用了对价值函数的近似来求解）；而在本将中，我们将介绍一种特殊的MDP——即使状态空间是连续的（无限状态）依然可以直接对价值函数进行求解。我们要介绍的第一个MDP的变型形式就是状态动作奖励，我们将奖励函数改为R:S,A→RR:S,A\to \ma

式中的期望变成了关于一个确定性分布的期望（在确定性模型中，我们在给定输入下做的每次抽样将得到同样的输出），于是使用一个样本就可以计算相应的期望值了。比如倒置钟摆的例子，我们假设系统的所有参数已知，比如杆的长度、杆的质量等等，根据这些输入参数，使用各种物理定律计算位于。中对状态使用了求和运算，而在这里我们对状态使用的是积分运算，这说明我们现在是在连续状态下（而不是在离散状态下）求解MDP。描述一个连续状态MDP的最简单的方法就是将它的状态空间离散化，然后在对其应用前面介绍的值迭代或策略迭代进行求解。

在监督学习中，算法尝试模仿训练集中的数据，给新的输入�x贴上一个合适的标签�y。在这种情形下，�y会明确的指出每个输入�x所对应的那个“正确的”标签；在无监督学习中，算法尝试发掘数据中潜在的固有结构，使用模型将这种结构表示出来，之后再对数据进行标记，使其存在于某个结构中。

来看另一个例子，在前面（[第五讲](https://blog.csdn.net/qq_45791012/article/details/136062495)）我们讨论过关于垃圾邮件分类的问题，我们会构造一个词汇表向量，其每个分量所对应的单词如果在邮件中出现则置为$1$，反正则置为$0$。当我们对这种数据应用PCA时，产生的算法换了个名字，叫做**潜在语义索引（LSI: latent semantic analysis）**。不过在LSI中，我们通常跳过预处理阶段，因为正规化数据使它们具有相同的方差可能会大幅

先来回顾一下上一讲推导出的结论，对于随机变量x=[x1x2], x∼N(μ,Σ)x=\begin{bmatrix}x_1\\x_2\end{bmatrix},\ x\sim\mathcal N(\mu,\varSigma)x=[x1​x2​​], x∼N(μ,Σ)，其中μ=[μ1μ2], Σ=[Σ11Σ12Σ21Σ22]\mu=\begin{bmatrix}\mu_1\\\mu_2\end{bmatrix},\ \varSigma=\begin{bmatrix}\varSigma_{11}&\varSigm

上一讲我们介绍了无监督学习算法，现在使用的训练集都是没有类标记的数据集{�(1),⋯,�(�)}{x (1) ,⋯,x (m) }。我们想要对样本进行分类并得到每个类型的样本的的密度分布。于是，我们引入潜在变量�z，用它来表示样本所属的分布，并将数据建模为�(�)=∑��(�∣�)�(�)P(x)= z∑​ P(x∣z)P(z)。在前半节课的介绍中，我们假设数据服从不同的高斯分布，并使用高斯混合模型来对样本建模，也就是令�

在聚类问题（clustering problem）中，对于给定的训练集{�(1),⋯,�(�)}{x (1) ,⋯,x (m) }，并且希望对样本分组，并找到能够使样本“紧密聚集”在一起的簇（clusters）。这里的�(�)∈��x (i) ∈R n 像原来一样，但是没有�(�)y (i) 。因此，这是一个无监督学习问题。�k-means聚类算法的过程如下：随机的初始化簇质心（cluster centroids）�1

与关于�θ的最大似然估计的式子相比，这个式子只是最后多了一项�(�)p(θ)。（对于这个式子的直观理解，参数服从�∼�(0,�2�)θ∼N(0,τ 2 I)，这是一个期望为00的高斯分布，具有一定的协方差�2�τ 2 I，对于这样一个分布，大部分的概率质量都集中在00附近。所以这个先验概率的意义就是，多数的参数都应该接近于00，回忆上一讲介绍的特征选择，如果我们剔除某个特征，也就等同于将其值置为00，这是一个与特征选择类似的过程，虽然它不会

我们已经证明了一些在有限假设类下非常有用的理论，然而，包括“任意以实数为参数的假设函数”（如线性分类器）在内的很多的假设类实际上包含了无数个假设函数。我们能否将有限假设类下成立的结论推广到无限假设类中呢？我们先抛出一个不严谨的论点，也许在某些方面不够“正确”，但它比较直观。之后，我们会给出一个更好且更普遍的结论。假设我们要将上面关于样本复杂度的式子应用在逻辑回归中，此时我们的假设类是由线性判别边界构成的，所以�H是以�d个实数作为参数（如果我用逻辑回归解决�n个特征值的问题，则�=

本节我们会对学习理论有一个大致了解，除了启发和深入理解机器学习，这部分讨论还将加强我们对学习理论直观概念，也会介绍一些学习算法在不同设置下最佳应用的经验。同时还将尝试解答这几个问题：首先，我们能否形式化偏差与方差间的权衡过程？这个问题也将引出关于模型选择方法的讨论，比如算法自动确定使用几阶多项式进行拟合。其次，在机器学习中我们真正关心的是模型的泛化误差，但是大多数学习算法只对训练集做拟合，那么我们如何从“对训练集有着很好拟合的模型”中得知它的泛化误差？我们尤其想知道，能否将“模型关于训练集的

先回顾上一讲的内容：我们写出凸优化问题（假设数据都是线性可分的）：min⁡w,b12∥w∥2s.t.y(i)(wTx(i)+b)≥1,i=1,⋯ ,m\begin{align}\displaystyle\operatorname*{min}_{w,b}&\quad\frac{1}{2}\lVert w\rVert^2\\\mathrm{s.t.}&\quad y^{(i)}\left(w^Tx^{(i)}+b\right)\geq 1,\quad i=1,\cdots,m\end{align}w,bmin​

接着上一讲，进一步讨论朴素贝叶斯算法及事件模型。在结束生成学习算法前，我们再来介绍一种针对文本分类的模型。虽然前面介绍的朴素贝叶斯算法对于很多分类问题都要良好的效果，不过对于文本分类，我们有一种更好的模型。在特定语境的文本分类中，朴素贝叶斯算法使用了多元伯努利事件模型（multi-variate Bernoulli event model）（特征值按照伯努利试验取xi∈{0,1}x_i\in\{0,1\}xi​∈{0,1}，特征值向量长度为字典长度）。回忆一下上一讲的知识，在这个模型中，我们首先假设下一封邮

截至目前，我们主要在讨论关于条件x下y的期望py∣x;θ的学习模型。比如逻辑回归模型py∣x;θ中的假设hθ​xgθTx，其中g是S型函数。在后面的学习中，我们将介绍一些其他类型的学习算法。考虑这样一种分类问题，我们想要根据一些动物的特征，区分大象（y1）和小狗（y0对于已知的训练集，诸如逻辑回归、感知算法基本上都是尝试找到一条直线，也就是判别边界，以区分大象样本和小狗样本。

回到上一讲介绍的逻辑回归：在逻辑回归中，我们用S型函数作为g(z)g(z)g(z)，使用梯度上升的更新规则求参数θ\thetaθ的最大似然估计。下面来介绍另一种方法：我们先回忆一下牛顿法找函数值零点：设函数f: R→Rf:\ \mathbb{R}\to\mathbb{R}f: R→R，我们希望找到使f(θ)=0f(\theta)=0f(θ)=0的θ∈R\theta\in\mathbb{R}θ∈R值，牛顿法提供下面的更新规则：θ:=θ−f(θ)f′(θ)\theta:=\theta-\frac{f(\thet

我们先来回顾一下上一讲中的内容。=(θ0​, ⋯, θn​)表示特征值的系数向量；接着用hθ(x(i))h_\theta\left(x^{(i)}\right)hθ​(x(i))表示用于拟合训练集中样本的假设函数（假设函数基于参数θ⃗\vec\thetaθ），并定义hθ(x(i))=∑j=0nθjxj(i)=θTxh_\theta\left(x^{(i)}\right)=\displaystyle\sum_{j=0}^n\theta_jx_j^{(i)}=\theta^Txhθ​(x(i))=j=0∑n​

监督学习问题描述：通过给定的训练集，训练一个函数ℎ: X→Y，如果ℎ(x)能够通过较为准确的预测而得到结果y，则我们称这个ℎ(x)是“好的”。因为一些历史原因，函数ℎ被称为假设。当预测的目标变量是连续的（就像我们公寓租金的例子一样），就说这是一个线性回归问题。当y只能取几个有特征的值（例如已知房间面积大小，我们需要判断这是一栋房屋还是一套公寓）时，我们称其为分类问题。