机器学习（1）：机器学习与数学分析

近期因工作需要，开始学习机器学习。学习心得体会，定期更新梳理出来，首次接触，可能有理解和解释不到位的地方，望批评指正，也算是自我提升。

提到机器学习，楼主第一反应是各种复杂的公式，各种搞不定的矩阵计算、积分、微分、熵等，甚至还专门为此重新学习了线性代数。其实从机器学习的角度去看数学知识，基本的高等数学、概率论等已经满足需求。

以下回顾三个常用的数学知识，并和机器学习中的数学简单关联。
**

(1)、自然对数e的引出

**
先从一个问题出发，求如下s的值：

$$s = \frac{1}{0!}+ \frac{1}{1!}+ \frac{1}{2!}+ \frac{1}{3!}+ \frac{1}{4!}+...+ \frac{1}{n!}+...$$
问题分析：
如果令 $f(x)=\log_a x$

我们知道所有对数函数都会经过点(1，0)，则在底数a为何值时，(1，0)处的导数为1呢？我们知道f(x)的极限值：
$$\frac{f(x+\Delta{x})-f(x)}{\Delta{x}}=\frac{\log_a (x+\Delta{x}) - \log_a (x)}{\Delta{x}} =\log_a(\frac{x+\Delta{x}}{\Delta{x}})^{\frac{1}{\Delta{x}}}$$
由于在(1，0)处的导数为1，则当 $\Delta{x}$趋于无穷小时：
$$\log_a(1+\Delta{x})^{\frac{1}{\Delta{x}}}=1$$
等价于：
$$\lim_{n\to \infty}（1+\frac{1}{n}）^n=?$$


由此引入自然对数e，上述问题的极限，即s的值也为e。
**

(2)、导数与梯度下降

**
简单来说，导数就是曲线的斜率，是曲线变化快慢的体现。二阶导数就是曲线斜率变化快慢的反映。
我们知道，如果函数z=f(x,y)在点P(x,y)处的导数存在，则函数在该点任意方向L上的偏导数都存在，并且有：

$$\frac{\partial(f)}{\partial(l)} = \frac{\partial(f)}{\partial(x)}cos\varphi + \frac{\partial(f)}{\partial(l)}sin\varphi$$
其中 $\varphi$为X轴到方向L的转角。
上述公式可用矩阵表述为：
$$\frac{\partial(f)}{\partial(l)} = ( \frac{\partial(f)}{\partial(x)},\frac{\partial(f)}{\partial(l)} )\cdot(cos\varphi,sin\varphi )^T$$
两个向量在什么时候点乘最大呢？由于： $a\cdot{b}=|a||b|cos\varphi$
答案是同方向的时候，点乘最大，所以机器学习的一个经典算法–梯度下降，形如从山顶走到山脚，以最快的速度下降，采用的就是当前所在位置的偏导数，沿着偏导数的方向下降，能以最快的速度到达目的地。
$( \frac{\partial(f)}{\partial(x)},\frac{\partial(f)}{\partial(l)} )$为函数z=f(x,y)在P点的梯度，记做gradf(x,y)。
梯度的方向是函数在当前点变化最快的方向。

**

(3)、组合数背后的秘密

**
先看一个典型的古典概率问题：将12个正品和3个次品，随机装在3个箱子中，每箱装5件，则每个箱子恰好有一个次品的概率是多少？
先把15个产品装入3个箱子，共有装法：15!/(5!5!5!)
3个次品装入3个箱子，共有：3!种装法。然后把12个正品装入3个箱子，每个4件，共有装法：12!/(4!4!4!)
所以概率P(A)=(3!*12!/(4!4!4!))/(15!/(5!5!5!))

一个通用的问题：N个物品分成k组，使得每组物品的个数分别为n1、n2、……、nk（N=n1+n2+……+nk），则不同的分组方法有：$\frac{N!}{n1!n2!…nk!}$
当N趋于无穷大时，我们来求一个特殊的值：

$$H=\frac{1}{N}ln\frac{N!}{n1!n2!…nk!}$$
由于N趋于无穷大时，lnN!—–>N(LnN-1)
上述计算等价于：
$$ln{N}-1 - \frac{1}{N}\sum_{i=1}^k{n_i(lnn_i-1)}=-\frac{1}{N}（\sum_{i=1}^k{n_i(lnn_i)}-Nln{N})=-\frac{1}{N}\sum_{i=1}^k({n_i(lnn_i)}-n_iln{N})=-\frac{1}{N}\sum_{i=1}^k(n_iln\frac{n_i}{N})=-\sum_{i=1}^k(\frac{n_i}{N}ln\frac{n_i}{N})$$
共有N个盒子， $\frac{n_i}{N}$相当于第i个盒子的频率，即p，上述H最后转换为：
$$H=-\sum_{i=1}^k(p_i)ln(p_i)$$
这个式子我们认识有木有，熵由此引出。