机器学习基础（一）

1、线性回归

我们的目标是建立一个系统，将向量$x_i$作为输入， 预测标量$y\in R$作为输出，线性回归的输出是其输入的线性函数，令$f(x_i)$表示模型预测y应该取得的值，我们定义输出为：$f(x)=w{x}_i+b$

其中，$w_i$是参数向量, b为偏置

均方误差

如何确定$w$和$b$呢，显然，关键在于如何衡量$f(x)$与y之间的差别，我们可以通过均方误差来试图让均方误差最小化，即：

$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}{\sum }_{i=1}^m(f(x_i)-y_i{)}^2$

均方误差对应了常用的欧几里得距离，基于均方误差最小化来进行模型求解的方法称为最小二乘法， 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

求解$w$和$b$：

分别对$w$和$b$求导，然后再对求导后的式子令其为0， 可得到$w$和$b$的最优的闭式解。

更一般的我们可以扩展到多元线性回归，类似的求解步骤，但是由于$X^{T}X$在现实任务中往往不是满秩矩阵，此时可能会解出多个$\hat{w}$, 它们都能使得均方误差最小化，选择哪一个解作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项

另一种用来估计概率分布的参数值的方法是极大似然估计

极大似然估计

用途： 估计概率分布的参数值

具体定义：对于离散型（连续型）随机变量X， 假设其概率质量函数为$P(x;\theta )$(连续的为概率密度函数)，其中$\theta$为待估计的参数值，现有$x_1,x_2,x_3,...,x_n$是来自X的n个独立同分布的样本，它们的联合概率为$L(\theta )={\prod }_{i=1}^{n}P(x_i;\theta )$

其中$x_1,x_2,x_3,...,x_n$是已知量，$\theta$是未知量，因此以上概率是一个关于$\theta$的函数，称为$L(\theta )$为样本的似然函数。

极大似然估计的直观想法是：使得观测样本出现概率最大的分布就是待求分布，也即使得似然函数$L(\theta )$取得最大值的${\theta }^{\ast }$即为$\theta$的估计值。

通过极大似然估计的方法我们同样可以得出与通过均方误差相同的结果，即：

$(w^{\ast },b^{\ast })=argma{x}_{(w,b)}lnL(w,b)=argmi{n}_{w,b}{\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$

求解过程同最小二乘法相同。

求解$w$和$b$：

分别对$w$和$b$求导，然后再对求导后的式子令其为0， 可得到$w$和$b$的最优的闭式解。

2、 逻辑回归（对数几率回归）

为了做分类任务我们可以通过寻找一个单调可微函数将分类任务的真实标记与线性回归模型的预测值联系起来。

逻辑回归， 线性回归都是有监督的

为什么选用sigmoid函数做作为联系函数？

【最大熵的角度】

https://zhuanlan.zhihu.com/p/59519202

Maximum Entropy Model最大熵模型 - 简书

LR的本质为二分类下选取了某个特征函数的最大熵模型。

推导出损失函数：可以利用极大似然和信息论的角度进行推导

面试题解答：为什么逻辑斯蒂回归的输出值可以作为概率 - 秃头之路的文章 - 知乎

极大似然估计（推导损失函数）

首先确定概率质量函数（离散的为例）,已知离散型随机变量 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}取值为1和0的概率分别建模为

$p(y=1|\hat{x};\beta )=\frac{e^{{\beta }^T\hat{x}}}{1+e^{{\beta }^T\hat{x}}}=p_1(\hat{x};\beta )$

$p(y=0|\hat{x};\beta )=\frac{1}{1+e^{{\beta }^T\hat{x}}}=p_0(\hat{x};\beta )$

由以上概率取值可推得随机变量 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}的概率质量函数为

$p(y|\hat{x};\beta )=y\ast p_1(\hat{x};\beta )+(1-y)\ast p_0(\hat{x};\beta )$

似然函数为：$L(\beta )={\prod }_{i=1}^{m}p(y_i|\widehat{x_i};\beta )$

进一步对数似然为：$l(\beta )=lnL(\beta )={\sum }_{i=1}^{m}lnp(y_i|\widehat{x_i};\beta )$

$l(\beta )=lnL(\beta )={\sum }_{i=1}^{m}lny\ast p_1(\widehat{x_i};\beta )+(1-y_i)\ast p_0(\widehat{x_i};\beta )$

带入p1和p0，我们可以得到最终的损失函数：

$l(\beta )={\sum }_{i=1}^m(y_i{\beta }^T\widehat{x_i}-ln(1+e^{{\beta }^T\widehat{x_i}}))$

由于损失函数通常为以最小化为优化目标，因此可以将最大化$l(\beta )$等价于最小化$-l(\beta )$

信息论

相对熵（KL散度）：度量两个分布的差异，其典型使用场景是用来度量理想分布$p(x)$和模拟分布$q(x)$之间的差异。

$D_{KL}(p||q)={\sum }_{x}p(x)lo{g}_{b}p(x)-{\sum }_{x}p(x)lo{g}_{b}q(x)$

从机器学习三要素中“策略”的角度来说，与理想分布最接近的模拟分布即为最优分布，因此可以通过最小化相对熵这个策略来求最优分布，由于理想分布p(x)是未知但固定的分布，所以${\sum }_{x}p(x)lo{g}_{b}p(x)$为常量，那么最小化相对熵等价于最小化交叉熵

那么单个样本$y_i$的交叉熵为：

$-{\sum }_{x}p(x)lo{g}_{b}q(x)$

$-{\sum }_{y_i}p(y_i)lo{g}_{b}q(y_i)=-p(1)\ast lo{g}_b{p}_1(\hat{x};\beta )-p(0)\ast lo{g}_b{p}_0(\hat{x};\beta )=-y_i\ast lo{g}_b{p}_1(\hat{x};\beta )-(1-y_i)\ast lo{g}_b{p}_0(\hat{x};\beta )$

换成以e为底

$-y_i\ast ln{p}_1(\hat{x};\beta )-(1-y_i)\ast ln{p}_0(\hat{x};\beta )$

全体训练样本的交叉熵为

${\sum }_{i=1}^m[-y_{i}ln{p}_1(\widehat{x_i};\beta )-(1-y_i)ln{p}_0(\widehat{x_i};\beta )]$

类似地，带入p1和p0

$={\sum }_{i=1}^m[-y_{i}ln(e^{{\beta }^T\widehat{x_i}}-ln(\frac{1}{1+e^{{\beta }^T\widehat{x_i}}}))]={\sum }_{i=1}^m(-y_i{\beta }^T\widehat{x_i}+ln(1+e^{{\beta }^T\widehat{x_i}}))$

同样也可以推导出相同的结果，该式为高阶可导连续凸函数，可以根据梯度下降法、牛顿法等进行求解最优解。

3、贝叶斯分类器

贝叶斯分类器

贝叶斯决策论

贝叶斯决策论是概率框架下实施决策的基本方法， 对分类任务来说， 在所有相关概率都已知的理性情形下， 贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

假设有N种可能的类别标记，即 y = { c 1 , c 2 , c 3 , . . . , c N } y=\{c_1, c_2,c_3,...,c_N\} y={c1​,c2​,c3​,...,cN​},${\lambda }_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失，基于后验概率$P(c_i|x)$可获得将样本x分类为$c_i$所产生的期望损失，即在样本x上的“条件风险”

$R(c_i|x)={\sum }_{j=1}^N{\lambda }_{ij}P(c_j|x)$

全部样本构成的总体风险为：

$R(h)=E_x[R(h(x)|x)]$

其中，h为分类器模型，显然，分类效果越准确的h，其条件风险和总体风险也越小。

贝叶斯判定准则：为最小化总体风险R(h)，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记，即：

$h^{\ast }(x)=argmi{n}_{c\in y}P(c|x)$

此时，$h^{\ast }$称为贝叶斯最优分类器

具体地，若目标是最小化分类错误率，误判损失${\lambda }_{ij}$在i=j的时候为0，其他情况下为1

此时，单个样本x的期望损失（条件风险）为

$R(c_i|x)={\sum }_{j=1}^N{\lambda }_{ij}P(c_j|x)$

又因为${\sum }_{j=1}^{N}P(c_j|x)=1$,则$R(c_i|x)=1-P(c_i|x)$

于是，按照上述的推导，最小化分类错误率的贝叶斯最有分类器等价于 最大化后验概率

从贝叶斯决策论的角度：机器学习所要做的就是基于有限的训练样本集尽可能准确地估计出后验概率$P(c|x)$

从机器学习自己的角度：给定一个样本x， 求一个能准确分类x的f(x)，其有些算法可以看作是对后验概率建模P(c|x)，而有些算法则是纯粹完成样本分类（SVM）

---

判别式模型：给定x, 直接建模P(c|x)来预测c

生成式模型：先对联合概率P(x,c)建模，然后再由此推导出P(c|x)

---

对于生成式模型，其建模思路为：

$P(c|x)=\frac{P(x,c)}{P(x)}$

再根据贝叶斯定理，上式可恒等变形为：

$P(c|x)=\frac{P(c)P(x|c)}{P(x)}$

其中，P©是类先验概率，P(x|c)是样本x相对于类别标记c的类条件概率(似然函数)，P(x)是用于归一化的证据因子

朴素贝叶斯分类器

基于贝叶斯公式来估计后验概率的主要困难在于：似然函数是所有属性的联合概率。

属性条件独立性假设：对已知类别，假设所有属性（特征）相互独立

$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c)}{P(x)}{\prod }_{i=1}^{d}P(x_i|c)$

其中，d为属性数目,$x_i$为x在第i个属性上的取值，基于贝叶斯判定准则：

$h^{\ast }(x)=argma{x}_{c\in y}P(c|x)=argma{x}_{c\in y}\frac{P(c)}{P(x)}{\prod }_{i=1}^{d}P(x_i|c)$

由于对所有类别来说P(x)都相同，所以P(x)视为常量可以略去，则朴素贝叶斯最优分类器为：

$h_{nb}(x)=argma{x}_{c\in y}P(c){\prod }_{i=1}^{d}P(x_i|c)$

从而朴素贝叶斯最优分类器等价于含$\theta$参数的极大似然估计

半朴素贝叶斯分类器

为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用了属性条件独立性假设，但在现实任务中这个假设往往很难成立，半朴素贝叶斯分类器的基本想法是：适当考虑一部分属性间的相互依赖信息，从而既不需进行完全概率计算，又不至于彻底忽略了比较强的属性依赖关系，独依赖估计是半朴素贝叶斯分类器最常见的策略：假设每个属性在类别之外最多仅依赖于一个其他属性，即：

$P(c|x)=P(c){\prod }_{i=1}^{d}P(x_i|c,p{a}_i)$

4、线性判别分析（LDA）

从几何的角度， 让全体训练样本经过投影后：

• 异类样本的中心尽可能远
• 同类样本的方差尽可能近

损失函数推导

经过投影后，异类样本的中心尽可能远

$max||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$

（注：上式等价于每类的均值投影点尽可能的远。相当于前面乘了常数$|w|$，不影响结果。（$max|||w|\ast |{\mu }_0|\ast cos{\theta }_0-|w|\ast |{\mu }_1|\ast cos{\theta }_1|{|}_2^2$））

经过投影后，同类样本的协方差尽可能小

$min{w}^T{\Sigma }_{0}w$

• $w^T{\Sigma }_{0}w=w^T({\sum }_{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T)w={\sum }_{x\in X_0}(w^{T}x-w^T{\mu }_0)(x^{T}w-{\mu }_0^{T}w)$

从而得出以下公式，

$maxJ=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$

$S_b$定义为类间散度矩阵，$S_w$为类内散度矩阵

上式等价于 $min-w^T{S}_{b}w$， $s.t.w^T{S}_{w}w=1$

解上述等式约束，可利用拉格朗日乘子法进行求解

求解w

由朗格朗日乘子法可得拉格朗日函数为：

$L(w,\lambda )=-w^T{S}_{b}w+\lambda (w^T{S}_{w}w-1)$

对w求偏导可得，

$\frac{\partial L(w,\lambda )}{\partial w}=-\frac{\partial (w^T{S}_{b}w)}{\partial w}+\lambda \frac{\partial (w^T{S}_{w}w-1)}{\partial w}=-(S_b+S_b^T)w+\lambda (S_w+S_w^T)w$

由于$S_b，S_w$是对称矩阵，所以

$\frac{\partial L(w,\lambda )}{\partial w}=-2S_{b}w+2\lambda S_{w}w$

令上式等于0，即可得

$S_{b}w=\lambda S_{w}w$ $({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w=\lambda S_{w}w$

令$({\mu }_0-{\mu }_1{)}^{T}w=\gamma$（前面是列向量，后面是行向量，所以点乘为实数）

$\gamma ({\mu }_0-{\mu }_1)=\lambda S_{w}w$

$w=\frac{\gamma }{\lambda }{S}_w^{-1}({\mu }_0-{\mu }_1)=S_w^{-1}({\mu }_0-{\mu }_1)$

5、支持向量机（SVM）

从几何角度， 对于线性可分数据集， 支持向量机就是找距离正负样本都最远的超平面, 相比于感知机（只是寻找可以分离正负样本的超平面）， 其解释唯一的， 且不偏不倚， 泛化性能更好。

超平面

n维空间的超平面($w^{T}x+b=0$,其中$w,x\in R^n$):

• 超平面方程不唯一

• 法向量w和位移项b确定一个唯一超平面

• 法向量w垂直于超平面（缩放w,b时，若缩放倍数为负数会改变法向量方向）

• 法向量w指向的那一半空间为正空间，另一半为负空间

• 任意点x到超平面的距离公式为$r=\frac{|w^{T}x+b|}{||w||}$

几何间隔

对于给定的数据集X和超平面$w^{T}x+b=0$，定义数据集X中的任意一个样本点

( x i , y i ) , y i ∈ { − 1 , 1 } , i = 1 , 2 , . . . , m (x_i,y_i),y_i\in \{-1,1\},i=1,2,...,m (xi​,yi​),yi​∈{−1,1},i=1,2,...,m关于超平面的几何间隔为：

${\gamma }_i=\frac{y_i(w^T{x}_i+b)}{||w||}$

正确分类时，${\gamma }_i>0$，几何间隔此时也等价于点到超平面的距离

没有正确分类时，${\gamma }_i<0$

对于给定的数据集X和超平面$w^{T}x+b=0$,定义数据集X关于超平面的几何间隔为：

数据集X中所有样本点的几何间隔最小值

$\gamma =mi{n}_{i=1,\mathrm{2...},m}{\gamma }_i$

支持向量机模型

模型：给定线性可分数据集X，支持向量机模型希望求得数据集X关于超平面的几何间隔$\gamma$

达到最大的那个超平面，然后套上一个sign函数实现分类功能

$$y=sign(w^{T}x+b)=\{\begin{array}{ll}1& w^{T}x+b>0\\ -1& w^{T}x+b<0\end{array}$$

所以其本质和感知机一样，仍然是在求一个超平面，几何间隔最大的超平面一定就是我们前面所说的距离正负样本都最远的超平面

原因有两点：

• 当超平面没有正确划分正负样本时：几何间隔最小的为误分类点，因此$\gamma <0$
• 当超平面正确划分超平面时：$\gamma >=0$,且越靠近中央$\gamma$越大

策略与求解

给定线性可分数据集X，设X中几何间隔最小的样本为$(x_{min},y_{min})$，那么支持向量机找超平面的过程可以转化为以下带约束条件的优化问题

假设该问题的最优解为$(w^{\ast },b^{\ast })$，那么$(\alpha w^{\ast },\alpha b^{\ast })$也是最优解，且超平面也不变，因此还需要对$w,b$做一定的限制才能使得上述优化问题有可解的唯一解，不仿设分子$y_{min}(w^T{x}_{min}+b)=1$，因为对于特定的$(x_{min},y_{min})$来说，能使得$y_{min}(w^T{x}_{min}+b)=1$的$\alpha$有且只有一个，因此上述问题进一步转化为：

由于求$1/||w||$的最大值相当于求$\frac{1}{2}||w|{|}^2$的最小值，所以上述目标函数等价于:

因为现在的目标函数是二次的，约束条件是线性的，所以它是一个凸二次规划问题，可以通过拉格朗日对偶性变换到对偶变量的优化问题，即通过求解与原问题等价的对偶问题得到原始问题的最优解，这就是线性可分条件下支持向量机的对偶算法，这样做的优点在于：对偶问题往往更容易求解，二是可以自然的引入核函数，进而推广到非线性分类问题。

参考以下：

拉格朗日对偶函数$\Gamma (\mu ,\lambda )$为拉格朗日函数$L(x,\mu ,\lambda )$的下确界。同时“弱对偶性”成立，进而参考主问题满足充分条件，得出该问题满足强对偶性成立，故满足KKT条件。

软间隔

在现实任务中，线性不可分的情形才是最常见的， 因此需要允许支持向量机犯错。

最终分类模型：

$$f(x)=w^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b$$

发现分类新样本只需要跟支持向量做点积。

核函数

之前的SVM推导中，假设了输入空间是线性可分的（存在划分超平面）或者允许SVM犯错的超平面。现实中的任务往往非线性可分（不存在划分超平面），这时候就不能在这个空间上用SVM。

核方法 是一类把低维空间的非线性可分问题，转化为高维空间的线性可分问题的方法。核方法不仅仅用于SVM，还可以用于其他数据为非线性可分的算法。核方法的理论基础是Cover’s theorem，指的是对于非线性可分的训练集，可以大概率通过将其非线性映射到一个高维空间来转化成线性可分的训练集。

SVM中，令 ϕ(xi) 表示将 xi 映射后的线性向量，那么对偶问题是：

$$\begin{array}{c}\begin{array}{rlrl}& \underset{\alpha }{\max }& & \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^{⊺}\varphi (x_j)\\ & \text{subject to}& & \sum _{i=1}^m{\alpha }_i{y}_i=0\\ & & & 0⩽{\alpha }_i⩽C,i=1,\dots ,m\end{array}\end{array}\text{\hspace{1em}(1)}$$

最终分类模型是：

$$f(x)=\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i{)}^{⊺}\varphi (x)+b\text{\hspace{1em}(2)}$$

跟之前的SVM相比，除了 xi 变成了 ϕ(xi) ，其他式子没有任何变化。

核函数： 设$\mathcal{X}$是输入空间（即$x_i\in \mathcal{X}$, $\mathcal{X}$是$R^n$的子集或离散集合），又设$\mathcal{H}$为特征空间($\mathcal{H}$是希尔伯特空间)， 如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射，

$$\varphi (x):\mathcal{X}\to \mathcal{H}\text{\hspace{1em}(3)}$$

使得对所有 $x,z\in \mathcal{X}$ ，函数 $K(x,z)$满足条件

$$K(x,z)=⟨\varphi (x),\varphi (z)⟩\text{\hspace{1em}(4)}$$

则称 K 为核函数。其中 $\varphi (x)$ 为映射函数， $⟨\cdot ,\cdot ⟩$为内积。

即核函数输入两个向量，它返回的值跟两个向量分别作 $\varphi$ 映射然后点积的结果相同。

核技巧是一种利用核函数直接计算 $⟨\varphi (x),\varphi (z)⟩$ ，以避开分别计算 $\phi(x) $和 $\phi(z) $，从而加速核方法计算的技巧。

得益于SVM对偶问题的表现形式，核技巧可以应用于SVM。(1)可以改成

$$\begin{array}{c}\begin{array}{rlrl}& \underset{\alpha }{\max }& & \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)\\ & \text{subject to}& & \sum _{i=1}^m{\alpha }_i{y}_i=0\\ & & & 0⩽{\alpha }_i⩽C,i=1,\dots ,m\end{array}\end{array}\text{\hspace{1em}(5)}$$

(2)可改写为：

$$f(x)=\sum _{i=1}^m{\alpha }_i{y}_{i}K(x_i,x)+b\text{\hspace{1em}(6)}$$

核函数的选择是SVM的最大变数，如果核函数选择不适，那么 ϕ 将不能将输入空间映射到线性可分的特征空间

6、聚类

聚类：物以类聚，将相似的样本聚集到一起，使得同一类簇的样本尽可能接近，不同类簇的样本尽可能远离。

对“距离”的定义：
1、非负性：$dist(x_i,x_j)>=0$

2、同一性：$dist(x_i,x_j)=0$当且仅当$x_i=x_j$

3、对称性： $dist(x_i,x_j)=dist(x_j,x_i)$

4、直递性：$dist(x_i,x_j)<=dist(x_i,x_k)+dist(x_k,x_j)$

常用的距离度量-连续/离散有序

明可夫斯基距离：

$dis{t}_{mk}(x_i,x_j)=(\sum _{u=1}^n|x_{iu}-x_{ju}{|}^p{)}^{\frac{1}{p}}$

p=2退化为欧式距离：

$dis{t}_{ed}(x_i,x_j)=||x_i-x_j|{|}_2=(\sum _{u=1}^n|x_{iu}-x_{ju}{|}^2{)}^{\frac{1}{2}}$

p=1退化为曼哈顿距离：

$dis{t}_{man}(x_i,x_j)=||x_i-x_j|{|}_1=\sum _{u=1}^n|x_{iu}-x_{ju}|$

---

常用的距离度量-离散无序

VDM(Value Difference Metric)度量

Kmeans(原型聚类）无监督学习

原型指的是类结构能通过一组典型的特例刻画，比如男、女类似的。

给定样本集 D = { x 1 , x 2 , . . . , x m } D=\{x_1, x_2, ..., x_m\} D={x1​,x2​,...,xm​}，k均值算法针对聚类所得簇划分$C=c_1,c_2,c_k$,求解最小化平方误差问题：

$E=\sum _{i=1}^k\sum _{x\in C_i}||x-\mu |{|}_2^2$

其中${\mu }_i=\frac{1}{|C_i|}{\sum }_{x\in C_i}$，x表示的是簇$C_i$的均值向量

求解该式需要考虑样本集D所有可能的划分，是一个NP-hard问题，一般来说，我们采用迭代算法求解近似划分。

7、KNN（无监督）

KNN:k个最近的邻居， 即每个样本都可以用它最接近的k个邻居来代表

该算法的思想是： 一个样本与数据集中的k个样本最相似， 如果这k个样本中的大多数属于某一个类别， 则该样本也属于这个类别。

距离度量

在选择两个实例相似性时， 一般使用的欧氏距离

Lp距离定义：

K值选择

如果选择较小的k值， 就相当于用较小的邻域中的训练实例进行预测， 学习的近似误差会减小， 只有与输入实例较近的训练实例才会对预测结果起作用， 但缺点是学习的估计误差会增大， 预测结果会对近邻的实例点敏感。如果邻近的实例点恰巧是噪声， 预测就会出错。换句话说， K值减小就意味着整体模型变复杂， 分的不清楚， 容易过拟合

如果选择较大K值， 就相当于用较大邻域中的训练实例进行预测， 其优点是可以减少学习的估计误差， 但近似误差会增大，也就是对输入实例预测不准确， K值的增大就意味着整体模型变的简单。

近似误差：相当于训练集的训练误差

测试误差： 相当于测试集的测试误差

在应用中，K值一般取一个比较小的数值，通常采用交叉验证法来选取最优的K值。

流程：
1） 计算已知类别数据集中的点与当前点之间的距离
2） 按距离递增次序排序
3） 选取与当前点距离最小的k个点
4） 统计前k个点所在的类别出现的频率
5） 返回前k个点出现频率最高的类别作为当前点的预测分类