《神经网络与深度学习》-邱锡鹏-第2章机器学习概述-作业

《神经网络与深度学习》-邱锡鹏-第2章机器学习概述-作业

  虽然有不少整理过邱锡鹏老师这本教材答案的博文，但是不少博文都是抄的那固定的几篇，并且存在某些明显错误。想用这种方式来记录我的学习过程。顺便也给自己一个交代，让自己好好学习一番，以后也可以给师弟师妹们留下一些遗产。

吕守晔
2022年8月22日于重庆

---

---

习题2-1

题目
  分析为什么平方损失函数不适用于分类问题。

个人解答
  分类问题实际上是在寻求一个概率，而平方损失函数则是在距离的基础上进行衡量，而实际上分类并没有距离上的差别。尽管经过Sigmoid函数后的概率值数值上是连续的，可以使用平方损失，但我们所关注的是分类的问题，也即是最后是否分类正确。如果硬是要在中间的概率值上使用平方损失优化可能并不能带来较好的体验与效果。从$\left[0.2,0.2,0.6\right]$到$\left[0.1,0.1,0.8\right]$的这个过程意义不大，并没有带来显著性提升。
  同时，参考这篇文章，我们还可以从优化的角度来理解这个问题。除了文章里提到的图以外，在李宏毅老师的PPT里面有两张图：
  上下两图分别为使用交叉熵、平方损失作为损失函数下的损失情况，横纵轴分别为参数L1与L2。可以看出，如果使用平方损失，在优化的时候很容易卡住，而使用交叉熵的话更好优化。

---

习题2-2

题目
  在线性回归中，如果我们给每个样本$({\mathbf{x}}^{(n)},y^{(n)})$赋予一个权重$r^{(n)}$，经验风险函数为

$$R(\mathbf{\omega })=\sum _{n=1}^N{r^{(n)}\left(y^{(n)}+{\mathbf{\omega }}^T{\mathbf{x}}^{(n)}\right)}^2$$

  计算其最优参数${\mathbf{\omega }}^{\ast }$，并分析权重$r^{(n)}$的作用.

个人解答

  在这里需要先分析$r^{(n)}$的作用到底是什么。从上面的风险函数可以看出，$r^{(n)}$作用于每一个样本，也就是说$r^{(n)}$可以对数据进行筛选，倘若$r^{(n)}$越大，那么该数据对于结果的影响程度也就越大。可通过设置$r^{(n)}$来设置权重。
  到这里需要明白$r^{(n)}$的特性：作用于第n个样本，而对其他的样本不提供任何影响。

$$\begin{array}{c}\begin{array}{rl}R(\mathbf{\omega })& =\sum _{n=1}^N{r^{(n)}\left(y^{(n)}+{\mathbf{\omega }}^T{\mathbf{x}}^{(n)}\right)}^2\\ & =\sum _{n=1}^N{\left[\sqrt{r^{(n)}}\left(y^{(n)}+{\mathbf{\omega }}^T{\mathbf{x}}^{(n)}\right)\right]}^2\end{array}\end{array}$$
  到了这一步，我们需要开始考虑如果转换为向量的形式，$r^{(n)}$会以何种形式存在了。在书中我们不难得知，如果没有$r^{(n)}$，那么在这里进一步化简的结果会是
$$R(\mathbf{\omega })=\frac{1}{2}{\left|\left|\mathbf{y}-X^T\mathbf{\omega }\right|\right|}^2$$
  那么在这里我们可以结合上面的分析来考虑$r^{(n)}$。我们希望，在这里$r^{(n)}$所对应的向量形式$R$能对损失值进行修正。在部分的解答中，认为这里的$R$是一个列向量，实则不然。如果是一个列向量的话，在这个地方应该表示为
$$R(\mathbf{\omega })=\frac{1}{2}{\left|\left|R^T\left(\mathbf{y}-X^T\mathbf{\omega }\right)\right|\right|}^2$$
  通过线性代数的知识，我们知道，一个$N\times 1$的向量乘以一个$1\times N$的向量，最终会得到一个标量。而这个标量再求取平方，很明显和不考虑$r^{(n)}$时是完全不一样的。你可以理解为差的平方的和与差的和的平方这样的差异，所以在这里$R$不是一个向量，而是一个$N\times N$的矩阵。
  这个矩阵为一个对角矩阵，仅有对角线上的元素不为0，且第$i$行的元素为$\sqrt{r^{(i)}}$。即
$$A=\left[\begin{array}{cccc}\sqrt{r^{(1)}}& 0& \cdots & 0\\ 0& \sqrt{r^{(2)}}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & \sqrt{r^{(N)}}\end{array}\right]$$
  基于以上的论断，我们可以进一步进行运算
$$\begin{array}{c}\begin{array}{rl}R(\mathbf{\omega })& =\frac{1}{2}{\left|\left|R\left(\mathbf{y}-X^T\mathbf{\omega }\right)\right|\right|}^2\\ & =\frac{1}{2}{\left[R\left(\mathbf{y}-X^T\mathbf{\omega }\right)\right]}^T\left[R\left(\mathbf{y}-X^T\mathbf{\omega }\right)\right]\\ & =\frac{1}{2}{\left(\mathbf{y}-X^T\mathbf{\omega }\right)}^T{R}^{T}R\left(\mathbf{y}-X^T\mathbf{\omega }\right)\end{array}\end{array}$$
  在这里$R^{T}R=W$且$R^T=R$，矩阵$W$为
$$A=\left[\begin{array}{cccc}{r}^{(1)}& 0& \cdots & 0\\ 0& r^{(2)}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & r^{(N)}\end{array}\right]$$
  故
$$\begin{array}{c}\begin{array}{rl}R(\mathbf{\omega })& =\frac{1}{2}{\left(\mathbf{y}-X^T\mathbf{\omega }\right)}^{T}W\left(\mathbf{y}-X^T\mathbf{\omega }\right)\\ & =\frac{1}{2}\left({\mathbf{y}}^{T}W\mathbf{y}-{\mathbf{\omega }}^{T}XW\mathbf{y}-{\mathbf{y}}^{T}W{X}^T\mathbf{\omega }+{\mathbf{\omega }}^{T}XW{X}^T\mathbf{\omega }\right)\end{array}\end{array}$$
  关于$\mathbf{\omega }$求导，得到
$$\begin{array}{c}\begin{array}{rl}\frac{\partial R\left(\mathbf{\omega }\right)}{\partial \mathbf{\omega }}& =\frac{1}{2}\left(0-XR\mathbf{y}-X{R}^T\mathbf{y}+XR{X}^T\mathbf{\omega }+X{R}^T{X}^T\mathbf{\omega }\right)\\ & =-XR(\mathbf{y}-X^T\mathbf{\omega })\end{array}\end{array}$$
  所以最优解为
$${\mathbf{\omega }}^{\ast }={\left(XR{X}^T\right)}^{-1}XR\mathbf{y}$$
  当$R=I$时，同教材上答案保持一致。

---

习题2-3

题目
  证明在线性回归中，如果样本数目$N$小于特征数量$D+1$，则$X{X}^T$的秩最大为$N$。
个人解答
  $X$是一个维度为$(D+1)\times N$的矩阵，由于$N<D+1$，所以$rank(X)\le N$，又由于
$$rank(AB)=\max \left(rank(A),rank(B)\right)$$
  在这里$rank(X)=rank(X^T)$，$rank(X{X}^T)=rank(X)\le N$，得证。

---

习题2-4

题目
  在线性回归中，验证岭回归的解为结构风险最小化准则下的最小二乘法估计。
个人解答
  结构风险最小化准则下的最小二乘法估计目标函数为
$$R(\mathbf{\omega })=\frac{1}{2}{\left|\left|\mathbf{y}-X^T\mathbf{\omega }\right|\right|}^2+\frac{1}{2}\lambda {\left|\left|\mathbf{\omega }\right|\right|}^2$$
  对其求导可得
$$\begin{gathered} \frac{\partial R\left(\mathbf{\omega }\right)}{\partial \mathbf{\omega }}=-X\left(\mathbf{y}-X^T\mathbf{\omega }\right)+\lambda \mathbf{\omega } \\ XR\mathbf{y}=\left(X{X}^T+\lambda I\right)\mathbf{\omega } \\ {\mathbf{\omega }}^{\ast }={\left(XR{X}^T+\lambda I\right)}^{-1}XR\mathbf{y} \end{gathered}$$
  结果与岭回归下的解保持一致，证毕。

---

习题2-5

题目
  在线性回归中，若假设标签$y\sim \mathcal{N}\left({\mathbf{w}}^T\mathbf{x},\mathbf{\beta }\right)$，并用最大似然估计来优化参数，验证最优参数为公式(2.52)的解。

个人解答
  同习题2-2中一致，$\mathbf{y}$为全体样本标签$y^{(n)}$所组成的向量。对全体样本似然函数，有：
$$\log p\left(\mathbf{y}|X;\mathbf{\omega },\mathbf{\beta }\right)=\prod _{n=1}^N\mathcal{N}\left(y^{(n)};{\mathbf{\omega }}^T{\mathbf{x}}^{(\mathbf{n})},\mathbf{\beta }\right)$$
  对似然函数取对数，可得
$$\begin{array}{c}\begin{array}{rl}\log p\left(\mathbf{y}|X;\mathbf{\omega },\mathbf{\beta }\right)& =\sum _{n=1}^N\log \mathcal{N}\left(y^{(n)};{\mathbf{\omega }}^T{\mathbf{x}}^{(\mathbf{n})},\mathbf{\beta }\right)\\ & =-\frac{N}{2}\log 2\pi \mathbf{\beta }-\frac{1}{2\mathbf{\beta }}{\left(\mathbf{y}-X^T\mathbf{\beta }\right)}^T\left(\mathbf{y}-X^T\mathbf{\beta }\right)\end{array}\end{array}$$
  对对数似然函数取微分
$$\frac{\partial \log p\left(\mathbf{y}|X;\mathbf{\omega },\mathbf{\beta }\right)}{\partial \mathbf{\omega }}=-\frac{1}{2\mathbf{\beta }}{\left(\mathbf{y}-X^T\mathbf{\omega }\right)}^T\left(\mathbf{y}-X^T\mathbf{\omega }\right)$$
  此时，最优解仍然同最小二乘法上类似，在此省略。
  证毕。

---

习题2-6

题目
  假设有$N$个样本$x^{(1)},x^{(1)},\cdots ,x^{(n)}$服从正态分布$\mathcal{N}\left(\mu ,{\sigma }^2\right)$，其中$\mu$未知。 1）使用最大似然估计来求解最优参数${\mu }^{ML}$；2）若$\mu$为随机变量，并服从正态分布$\mathcal{N}\left({\mu }_0,{\sigma }_0^2\right)$，使用最大后验估计来求解最优参数${\mu }^{MAP}$。

个人解答
1）最大似然
  似然函数为
$$p(x^{(i)})=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{\frac{{\left(x^{(i)}-\mu \right)}^2}{2{\sigma }^2}}$$
  则最优参数有
$$\begin{array}{c}\begin{array}{rl}{\mu }^{ML}& =\underset{\mu }{\mathrm{argmax}}\log \prod _{n=1}^{N}p(x^{(n)})\\ & =\underset{\mu }{\mathrm{argmax}}\sum _{n=1}^N\left(-\frac{1}{2}\log 2\pi {\sigma }^2-\frac{1}{2{\sigma }^2}{\left(x^{(n)}-\mu \right)}^2\right)\\ & =\underset{\mu }{\mathrm{argmax}}\sum _{n=1}^N\left(-\frac{1}{2{\sigma }^2}{\left(x^{(n)}-\mu \right)}^2\right)\\ & =\underset{\mu }{\mathrm{argmax}}\sum _{n=1}^N{\left(x^{(n)}-\mu \right)}^2\\ & =\frac{1}{N}\sum _{n=1}^N{x}^{(n)}\end{array}\end{array}$$
2）最大后验
  似然函数为
$$L=\left(\prod _{n=1}^N\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{{\left(x^{(i)}-\mu \right)}^2}{2{\sigma }^2}}\right)\times \frac{1}{\sqrt{2\pi {\sigma }_0^2}}{e}^{-\frac{{\left(\mu -{\mu }_0\right)}^2}{2{\sigma }_0^2}}$$
$$\begin{array}{c}\begin{array}{rl}{\mu }^{MAP}& =\underset{\mu }{\mathrm{argmax}}P\left(\mu |X\right)\\ & =\underset{\mu }{\mathrm{argmax}}\frac{P\left(X|\mu \right)P(\mu )}{P(X)}\\ & =\underset{\mu }{\mathrm{argmax}}P\left(X|\mu \right)P(\mu )\\ & =\underset{\mu }{\mathrm{argmax}}L\\ & =\underset{\mu }{\mathrm{argmax}}\log \left[\left(\prod _{n=1}^N\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{{\left(x^{(i)}-\mu \right)}^2}{2{\sigma }^2}}\right)\times \frac{1}{\sqrt{2\pi {\sigma }_0^2}}{e}^{-\frac{{\left(\mu -{\mu }_0\right)}^2}{2{\sigma }_0^2}}\right]\\ & =\underset{\mu }{\mathrm{argmax}}\left[\sum _{n=1}^N\left(-\frac{1}{2}\log 2\pi {\sigma }^2-\frac{1}{2{\sigma }^2}{\left(x^{(n)}-\mu \right)}^2\right)-\frac{1}{2}\log 2\pi {\sigma }_0^2-\frac{1}{2{\sigma }_0^2}{\left(\mu -{\mu }_0\right)}^2\right]\\ & =\underset{\mu }{\mathrm{argmax}}\left[\sum _{n=1}^N\left(-\frac{1}{2{\sigma }^2}{\left(x^{(n)}-\mu \right)}^2\right)-\frac{1}{2{\sigma }_0^2}{\left(\mu -{\mu }_0\right)}^2\right]\end{array}\end{array}$$
  则最优参数有
$$\begin{array}{rl}\frac{\partial }{\partial \mu }\left[\sum _{n=1}^N\left(-\frac{1}{2{\sigma }^2}{\left(x^{(n)}-\mu \right)}^2\right)-\frac{1}{2{\sigma }_0^2}{\left(\mu -{\mu }_0\right)}^2\right]& =0\\ \sum _{n=1}^N\left(\frac{1}{{\sigma }^2}\left(x^{(n)}-{\mu }^{MAP}\right)\right)-\frac{1}{{\sigma }_0^2}\left({\mu }^{MAP}-{\mu }_0\right)& =0\\ \left(\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}\right){\mu }^{MAP}& =\frac{{\mu }_0}{{\sigma }_0^2}+\sum _{n=1}^N\frac{x^{(n)}}{{\sigma }^2}\\ {\mu }^{MAP}& =\frac{\frac{{\mu }_0}{{\sigma }_0^2}+{\sum }_{n=1}^N\frac{x^{(n)}}{{\sigma }^2}}{\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}}\end{array}$$

---

习题2-7

题目
  习题2-6中，证明当$N\to \infty$时，最大后验估计趋于最大似然估计。

个人解答
$$\begin{array}{rl}\underset{n\to \infty }{\lim }{\mu }^{MAP}& =\underset{n\to \infty }{\lim }\frac{\frac{\mu }{{\sigma }_0^2}+{\sum }_{n=1}^N\frac{x^{(n)}}{{\sigma }^2}}{\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}}\\ & =\underset{n\to \infty }{\lim }\left[\frac{1}{N}\sum _{n=1}^N{x}^{(n)}+\frac{\frac{\mu }{{\sigma }_0^2}}{\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}}\right]\end{array}$$
  当$N\to \infty$时，第二项趋于0，得证。

---

习题2-8

题目
  验证$f^{\ast }\left(x\right)={\mathbb{E}}_{y\sim p_r\left(y|x\right)}\left[y\right]$。

个人解答
  损失函数
$$R(f)={\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[{\left(y-f\left(x\right)\right)}^2\right]$$
  参考2-4，不难想到直接对$R(f)$关于$f$进行求导，就能够得到
$$\frac{\partial }{\partial f}R(f)=-2{\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[f^{\prime }(x)\left(y-f\left(x\right)\right)\right]$$
  想要让$\frac{\partial }{\partial f}R(f)=0$，那么一定有${\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[y-f\left(x\right)\right]=0$。在这里需要用到一个条件期望的引理，即$\mathbb{E}\left[g(x)|x\right]=g(x)$。
  下面我们先证明一下这个引理，假定$x$为一取值，而$X$为一随机变量，则
$$\mathbb{E}\left[g(X)|x\right]=\sum g(x)\times Pr\left(g(X)=g(x)|X=x\right)$$
  很明显，条件概率$Pr\left(g(X)=g(x)|X=x\right)$当且仅当$X=x$时取1，其余情况均为0，所以
$$\mathbb{E}\left[g(X)|x\right]=g(x)$$
  对全体$x$求期望，则可得到
$$\mathbb{E}\left[g(X)|X\right]=g(X)$$
  在这里，所有的$X$均表示随机变量，考虑到在本证明中$x$本身便代表随机变量，所以特做一引申。希望读者此处不会将$X$与$x$混淆，仅需记住当$x$为随机变量时$\mathbb{E}\left[g(x)|x\right]=g(x)$即可。
  基于以上推导，则可将公式进行合理变换
$$\begin{array}{rl}{\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[y-f\left(x\right)\right]& ={\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[{\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[\left(y-f\left(x\right)\right)|x\right]\right]\\ & ={\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[{\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[y|x\right]-{\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[f\left(x\right)|x\right]\right]\end{array}$$
  同上，此时可得
$${\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[f\left(x\right)|x\right]=f^{\ast }(x)={\mathbb{E}}_{\left(x,y\right)\sim p_r\left(x,y\right)}\left[y|x\right]={\mathbb{E}}_{y\sim p_r\left(y|x\right)}\left[y\right]$$
  得证。
  此处除了直接求导外，还可通过不等式法进行求解，个人认为不等式法比较完备，因为其实题目中没有说$f(x)$可微。但这里使用这种方法的前提是我们是在一个深度学习的模型上来求解的，而这个模型能够用梯度下降法之类的话，本身应该是可微的吧。（当然这部分像是后日谈，本做法仍然不甚完整，建议参考不等式法）

---

习题2-9

题目
  试分析什么因素会导致模型出现图2.6所示的高偏差和高方差情况。

个人解答
  从实验结果来看，这种情况模型几乎不起作用。出问题的点无外乎来自两方面：模型和数据。可能是如下原因导致的：
  1. 从模型来看，模型不收敛，模型近似于瞎猜；
  2. 从过程来看，训练数据与测试数据不一致，譬如一人脸识别模型训练时利用人眼数据学习，但是最后给你的测试数据却是鼻子的数据，像是这种大差异也可能会导致这个问题；
  3. 从关系来看，数据不合适，线性模型输入非线性数据，基本等于瞎猜。

---

习题2-10

题目
  验证${\mathbb{E}}_D\left[{\left(f_D(x)-f^{\ast }\left(x\right)\right)}^2\right]={\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }(x)\right)}^2+{\mathbb{E}}_D\left[{\left(f_D(x)-{\mathbb{E}}_D\left[f_D(x)\right]\right)}^2\right]$。
个人解答
$$\begin{array}{rl}{\mathbb{E}}_D\left[{\left(f_D(x)-f^{\ast }\left(x\right)\right)}^2\right]& ={\mathbb{E}}_D\left[{\left(f_D(x)-{\mathbb{E}}_D\left[f_D(x)\right]+{\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }\left(x\right)\right)}^2\right]\\ & ={\mathbb{E}}_D\left[{\left(f_D(x)-{\mathbb{E}}_D\left[f_D(x)\right]\right)}^2+{\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }\left(x\right)\right)}^2+2\left(f_D(x)-{\mathbb{E}}_D\left[f_D(x)\right]\right)\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }\left(x\right)\right)\right]\\ & ={\mathbb{E}}_D\left[{\left(f_D(x)-{\mathbb{E}}_D\left[f_D(x)\right]\right)}^2\right]+{\mathbb{E}}_D\left[{\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }\left(x\right)\right)}^2+2\left(f_D(x)-{\mathbb{E}}_D\left[f_D(x)\right]\right)\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }\left(x\right)\right)\right]\end{array}$$
  因为$f^{\ast }(x)$是最优模型，最优模型是与数据无关的，所以${\mathbb{E}}_D\left[f^{\ast }(x)\right]=f^{\ast }(x)$。无论数据$D$取什么值，在这里是无关的。同理，有${\mathbb{E}}_D\left[{\mathbb{E}}_D\left[f_D(x)\right]\right]={\mathbb{E}}_D\left[f_D(x)\right]$。
$$\begin{array}{rl}& {\mathbb{E}}_D\left[{\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }\left(x\right)\right)}^2+2\left(f_D(x)-{\mathbb{E}}_D\left[f_D(x)\right]\right)\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }\left(x\right)\right)\right]\\ & ={\mathbb{E}}_D\left[{\mathbb{E}}_D^2\left[f_D(x)\right]+f^{\ast }{\left(x\right)}^2-2{\mathbb{E}}_D\left[f_D(x)\right]f^{\ast }\left(x\right)+2f_D(x){\mathbb{E}}_D\left[f_D(x)\right]-2f_D(x)f^{\ast }(x)-2{\mathbb{E}}_D^2\left[f_D(x)\right]+2{\mathbb{E}}_D\left[f_D(x)\right]f^{\ast }(x)\right]\\ & ={\mathbb{E}}_D\left[f^{\ast }{\left(x\right)}^2+2f_D(x){\mathbb{E}}_D\left[f_D(x)\right]-2f_D(x)f^{\ast }(x)-{\mathbb{E}}_D^2\left[f_D(x)\right]\right]\\ & =f^{\ast }{\left(x\right)}^2+2{\mathbb{E}}_D\left[f_D(x){\mathbb{E}}_D\left[f_D(x)\right]\right]-2f^{\ast }(x){\mathbb{E}}_D\left[f_D(x)\right]-{\mathbb{E}}_D^2\left[f_D(x)\right]\\ & =f^{\ast }{\left(x\right)}^2-2f^{\ast }(x){\mathbb{E}}_D\left[f_D(x)\right]+{\mathbb{E}}_D^2\left[f_D(x)\right]\\ & ={\left({\mathbb{E}}_D\left[f_D(x)\right]-f^{\ast }(x)\right)}^2\end{array}$$
  得证。

---

习题2-11

题目
  分别用一元、二元和三元特征的词袋模型表示文本“我打了张三”和“张三打了我”，并分析不同模型的优缺点。
个人解答
  词袋模型是把单词分为一个一个的特征，在这里可以理解为字，也可以理解为词。但是考虑到中文当中存在“了”这样的词，所以将其简化，把“打了”视为同一个词。在英文当中也有类似的处理，譬如会忽略“a”、“the”这样的词。
  一元特征：“我”、“打了”、“张三”。
  二元特征：“我打了”、“打了我”、“打了张三”、“张三打了”、“我张三”、“张三我”。
  三元特征：“张三打了我”、“我打了张三”、“我张三打了”、“张三我打了”、“打了我张三”、“打了张三我”。
  在这里我和这种做法有点不同，我觉得二元、三元特征中应该不包低元特征才对，在这里元我理解为元组。所以对应下来文本一和文本二应该表述为：
  一元：
$$\begin{gathered} I_1=[1,1,1] \\ {I}_2=[1,1,1] \end{gathered}$$
  二元：
$$\begin{gathered} I_1=[1,0,1,0,0,0] \\ {I}_2=[0,1,0,1,0,0] \end{gathered}$$
  三元：
$$\begin{gathered} I_1=[0,1,0,0,0,0] \\ {I}_2=[1,0,0,0,0,0] \end{gathered}$$
  一元模型只能表征元素，看是否出现过，只要都出现过，那么他们的词向量就相同。但是一元模型无法表示语序，判断的精准度会较低。二元和三元则可以表示语序，特别是三元能表征前后元素的关系。
  但是当特征元数$n$增长时，计算压力和参数空间会迅速增长。$n$越大，数据也会越稀疏。

---

习题2-12

题目
  对于一个三分类问题，数据集的真实标签和模型的预测标签如下。

真实标签	1	1	2	2	2	3	3	3	3
预测标签	1	2	2	2	3	3	1	1	2

  分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。
解答
  按照这种做法即可，就不重复造轮子了。