机器学习基础

参考于一些大佬博主，在此致谢！
https://www.jianshu.com/p/0ee0700da382
https://www.cnblogs.com/jialin0421/p/8988824.html
https://blog.csdn.net/Ga4ra/article/details/78935537

【第0章 数学基础】

线性代数

1. 标量就是一个单独的数，一般用小写的的变量名称表示。
2. 向量就是一列数，这些数是有序排列的
   
3. 矩阵是二维数组，我们通常会赋予矩阵粗体的大写变量名称
   
4. 张量：标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量
   在机器学习中，我们经常使用被称为范数(norm) 的函数衡量矩阵大小。
   Lp 范数如下：
   
   
5. 范数： L1范数和L2范数很常见，主要用在损失函数中起到一个限制模型参数复杂度的作用。
6. 特征分解：只有对可对角化的矩阵才可以进行特征分解。将矩阵分解成一组特征向量和特征值。
   方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量：
   
   特征分解后，矩阵A可这样表示：
   
7. 奇异值分解（SVD）对于不是方阵的矩阵，奇异值分解是对特征分解的一种扩展
   其中U和V都是正交矩阵，D是对角矩阵（注意，D不一定是方阵）。对角矩阵D对角线上的元素被称为矩阵A的奇异值。矩阵U的列向量被称为左奇异向量，矩阵V 的列向量被称右奇异向量。
8. Moore-Penrose伪逆
   对于非方矩阵逆矩阵没有定义。但是可以通过矩阵A的左逆B来求解线性方程：
   
   

求法我觉得用具体例子更容易明白：

距离

1. 欧氏距离(Euclidean Distance)
   

python中的实现：

import numpy as np
x=np.random.random(10)
y=np.random.random(10)

#方法一：根据公式求解
d1=np.sqrt(np.sum(np.square(x-y)))

#方法二：根据scipy库求解
from scipy.spatial.distance import pdist
X=np.vstack([x,y])
d2=pdist(X)

2. 曼哈顿距离(Manhattan Distance)
   哈顿距离也称为城市街区距离(City Block distance)。
   

import numpy as np
x=np.random.random(10)
y=np.random.random(10)

#方法一：根据公式求解
d1=np.sum(np.abs(x-y))

#方法二：根据scipy库求解
from scipy.spatial.distance import pdist
X=np.vstack([x,y])
d2=pdist(X,'cityblock')

3. 切比雪夫距离 ( Chebyshev Distance )
   国际象棋玩过么？国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？自己走走试试。你会发现最少步数总是max( | x2-x1 | , | y2-y1 | ) 步 。有一种类似的一种距离度量方法叫切比雪夫距离。
   

import numpy as np
x=np.random.random(10)
y=np.random.random(10)

#方法一：根据公式求解
d1=np.max(np.abs(x-y))

#方法二：根据scipy库求解
from scipy.spatial.distance import pdist
X=np.vstack([x,y])
d2=pdist(X,'chebyshev')

4. 闵可夫斯基距离(Minkowski Distance)
   闵氏距离不是一种距离，而是一组距离的定义。
   
   根据变参数p的不同，闵氏距离可以表示一类的距离。
   当p=1时，就是曼哈顿距离
   当p=2时，就是欧氏距离
   当p→∞时，就是切比雪夫距离

(2)闵氏距离的缺点
　　闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。
　　举个例子：二维样本(身高,体重)，其中身高范围是150~ 190，体重范围是50~60，有三个样本：a(180,50)，b(190,50)，c(180,60)。那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，但是身高的10cm真的等价于体重的10kg么？因此用闵氏距离来衡量这些样本间的相似度很有问题。
　　
闵氏距离的缺点主要有两个：
(1)将各个分量的量纲(scale)，也就是“单位”当作相同的看待了。
(2)没有考虑各个分量的分布（期望，方差等)可能是不同的。

import numpy as np
x=np.random.random(10)
y=np.random.random(10)

#方法一：根据公式求解,p=2
d1=np.sqrt(np.sum(np.square(x-y)))

#方法二：根据scipy库求解
from scipy.spatial.distance import pdist
X=np.vstack([x,y])
d2=pdist(X,'minkowski',p=2)

5. 标准化欧氏距离 (Standardized Euclidean distance )
   (1)标准欧氏距离的定义
   　　标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。
   　　标准欧氏距离的思路：既然数据各维分量的分布不一样，好吧！那我先将各个分量都“标准化”到均值、方差相等吧。均值和方差标准化到多少呢？这里先复习点统计学知识吧，假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为：

标准化后的值 = ( 标准化前的值 － 分量的均值 ) /分量的标准差
　　经过简单的推导就可以得到两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的标准化欧氏距离的公式：

　　如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权欧氏距离(Weighted Euclidean distance)。

import numpy as np
x=np.random.random(10)
y=np.random.random(10)

X=np.vstack([x,y])

#方法一：根据公式求解
sk=np.var(X,axis=0,ddof=1)
d1=np.sqrt(((x - y) ** 2 /sk).sum())

#方法二：根据scipy库求解
from scipy.spatial.distance import pdist
d2=pdist(X,'seuclidean')

6. 马氏距离(Mahalanobis Distance)
   （1）马氏距离定义
   
   若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。

import numpy as np
x=np.random.random(10)
y=np.random.random(10)

#马氏距离要求样本数要大于维数，否则无法求协方差矩阵
#此处进行转置，表示10个样本，每个样本2维
X=np.vstack([x,y])
XT=X.T

#方法一：根据公式求解
S=np.cov(X)   #两个维度之间协方差矩阵
SI = np.linalg.inv(S) #协方差矩阵的逆矩阵
#马氏距离计算两个样本之间的距离，此处共有10个样本，两两组合，共有45个距离。
n=XT.shape[0]
d1=[]
for i in range(0,n):
    for j in range(i+1,n):
        delta=XT[i]-XT[j]
        d=np.sqrt(np.dot(np.dot(delta,SI),delta.T))
        d1.append(d)
        
#方法二：根据scipy库求解
from scipy.spatial.distance import pdist
d2=pdist(XT,'mahalanobis')

马氏优缺点：
1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；

2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。

3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵的逆矩阵仍然不存在，比如三个样本点（3，4），（5，6）和（7，8），这种情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下，也采用欧式距离计算。

4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样本点出现3）中所描述的情况是很少出现的，所以在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。优点：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。

缺点：它的缺点是夸大了变化微小的变量的作用。

7. 夹角余弦
   夹角余弦的取值范围为[-1,1]，可以用来衡量两个向量方向的差异；夹角余弦越大，表示两个向量的夹角越小；
   当两个向量的方向重合时，夹角余弦取最大值1；
   当两个向量的方向完全相反时，夹角余弦取最小值-1。
   机器学习中用这一概念来衡量样本向量之间的差异，其数学表达式如下：
   

from numpy import *
vector1 = mat([1,2,3])
vector2 = mat([4,5,6])
print dot(vector1,vector2)/(linalg.norm(vector1)*linalg.norm(vector2))

8. 汉明距离
   汉明距离定义的是两个字符串中不相同位数的数目。
   例如：字符串‘1111’与‘1001’之间的汉明距离为2。
   信息编码中一般应使得编码间的汉明距离尽可能的小。
   汉明距离的Python实现：

from numpy import *
matV = mat([1,1,1,1],[1,0,0,1])
smstr = nonzero(matV[0]-matV[1])
print smstr

9. 杰卡德相似系数
   两个集合A和B的交集元素在A和B的并集中所占的比例称为两个集合的杰卡德相似系数，用符号J(A,B)表示，杰卡德相似系数是衡量两个集合的相似度的一种指标。数学表达式为：
   
10. 杰卡德距离
    与杰卡德相似系数相反的概念是杰卡德距离，其定义式为：

from numpy import *
import scipy.spatial.distance as dist
matV = mat([1,1,1,1],[1,0,0,1])
print dist.pdist(matV,'jaccard')

概率论

1. 贝叶斯
2. 方差和协方差
   3.常见分布函数
   
   
   
   
   Lagrange乘子法
   
   最大似然估计
   最大似然也称为最大概似估计，即：在“模型已定，参数θ未知”的情况下，通过观测数据估计未知参数θ 的一种思想或方法。
   

信息论

【第1章 绪论】
https://www.cnblogs.com/hust-chen/p/8643897.html
【第2章 模型评估与选择】
https://www.cnblogs.com/hust-chen/p/8643973.html