K-邻近算法及距离计算公式

机器学习算法

K-邻近算法

就是通过你的“邻居”来判断你属于哪一个类别

实现过程

1. 实例化一个估计器
2. 使用fit进行训练

计算距离常用方法

1. 欧氏距离

   1. 二维平面上点a(x₁,y₁)与b(x₂,y₂)间的欧式距离

      d₁₂=$\sqrt{(x_1-x_2{)}^2+(y_1-y_2{)}^2}$
      三维空间点$a(x_1,y_1,z_1)与b(x_2,y_2,z_2)$间的距离
      d₁₂ = $\sqrt{(x_1-x_2{)}^2+(y_1-y_2{)}^2+(z_1-z_2{)}^2}$
      n维空间a(x₁₁,x₁₂,…x_1n)与b(x₂₁x₂₂,…x_2n)间的欧式距离
      $d_{12}=\sqrt{{\sum }_{k=1}^n(x_{1k}-x_{2k}{)}^2}$

   2. 曼哈顿距离
      二维空间平面两点$a(x_1,y_1)与b(x_2,y_2)$间的曼哈顿距离
      $d_{12}=|x_1-x_2|+|y_1-y_2|$
      n维空间点$a(x_{11},x_{12},...x_{1n})与b(x_{21},x_{22},...x_{2n})$的曼哈顿距离
      $d_{12}={\sum }_{k=1}^n|x_{1k}-x_{2k}|$

   3. 切比雪夫距离
      二维平面两点$a(x_1,y_1)与b(x_2,y_2)$间的切比雪夫距离
      $d_{12}=max(|x_1-x_2|,|y_1-y_2|)$
      n维空间点$a(x_{11},x_{12},...x_{1n})与b(x_{21},x_{22},...x_{2n})$的切比雪夫距离
      $d_{12}=max(|x_{1i}-x_{2i}|)$

   4. 闵可夫斯距离
      闵氏距离不是一种距离，是对多个距离度量公式的概括表达
      两个n维变量$a(x_{11},x_{12},...x_{1n})与b(x_{21},x_{22},...x_{2n})$间的闵氏距离为
      $d_{12}=p\sqrt{{\sum }_{k=1}^n|x_{1k}-x_{2k}{|}^p}$
      其中p是一个变参数
      当p=1时，就是曼哈顿距离。
      当p=2时，就是欧式距离。
      当p=$\infty$时，就是切比雪夫距离
      根据p的不同，闵氏距离可以表示某一类距离

   5. 标准欧式距离
      假设样本集X的均值为m，标准差为s，x的标准化表示为
      $x^{\ast }=\frac{x-m}{s}$
      标准化欧式距离公式
      $d_{12}=\sqrt{{\sum }_{k=1}^n(\frac{x_{1k}-x_{2k}}{s_k})}$

   6. 余弦距离
      二维空间中向量$A(x_1,y_1)与向量B(x_2,y_2)$的夹角余弦公式：
      余弦距离
      $cos\theta =\frac{x_1{x}_2+y_1{y}_2}{\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}$
      两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦为：
      余弦距离
      即：
      $cos\theta =\frac{a\cdot b}{|a||b|}$
      余弦距离

   7. 汉明距离
      两个长度相等的字符串$s_1与s_2$的汉明距离为将其中一个变为另外一个所需要做的最小的字符串替换的次数。
      汉明距离即使一个字符串到另一个字符串需要变换几个字母，进行统计

   8. 杰卡德距离
      通过并集进行统计

   9. 马氏距离
      通过分布进行计算