机器学习笔记——基础数学篇

       机器学习里面包括很多数学内容。高中及大学的数学知识都还给老师了。最近跟着视频学习中，发现总结的很好。下面将我的学习笔记记录下来。如有雷同，那可能我们看的是同一视频。笔记内容仅代表我个人的理解，如有错误希望指正，互相学习。

1、夹逼定理

  
      概念：当 x∈U(x 0 ,r)  时，有个 g(x)≤f(x)≤h(x)  成立，
并且 lim x→x 0  g(x)=A,lim x→x 0  h(x)=A  ,那么
lim x→x 0  f(x)=A  。
也就是说两边函数都等于相同的数A时，中间的函数也必为A。

2、Taylor 公式 
                                                   公式： f(x)=f(x 0 )+f ′ (x 0 )(x−x 0 )+f ′′ (x 0 )2！ （x−x 0 ） 2 +...+f (n) (x 0 )n! (x−x 0 ) n +R n (x) 
                                              当 x 0 =0  时：
f(x)=f(0)+f ′ (0)x+f ′′ (0)2! x 2 +...+f (n) n! x n +O(x n ) 
                  可以明显的观察到每一项的x的指数和分母上的阶乘是相对应的。 

Taylor展开式主要是在实际中某些复杂的函数需要进行变换的时候进行应用。

3、方向导数（梯度） 

 梯度概念：设函数 z=f(x,y)  在D区域内有一阶连续偏导数，则对这个区域内的任意一个点 P（x,y）  ,向量
(∂f∂x ,∂f∂y ) 
为这个函数 z=f(x,y)  在点P处的梯度，即为grad f(x,y)  。
梯度的方向是函数在该点变化最快的方向。

4、凸函数 

概念：若一个函数f是凸函数。当 0≤θ≤1  ,有
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) 

延伸：f为凸函数，则有： 
f(θ 1 x 1 +...+θ n x n )≤θ 1 f(x 1 )+...+θ n f(x n ) 
其中： 0≤θ i ≤1  且 θ 1 +...+θ n =1  。
判定定理：
f(x)在区间[a,b]上连续，在(a,b)内二阶可导，那么：
▲  若 f ′′ (x)>0  ,则f(x)是凸的。
▲  若 f ′′ (x)<0  ,则f(x)是凹的。

5、概率
■  把n个物品分为k组，使得每组物品的个数分别为 n1,n2...nk  , n=(n1+n2+...+nk)  ,则不同的分组方法有 n!n 1 !+n 2 !+...+n k !   种
■  条件概率公式：
P(A|B)=P(AB)P(B)  
■  全概率公式：
P(A)=∑ i P(A|B i )P(B i ) 
■  贝叶斯（Bayes）公式:
P(B i |A)=P(A|B i )P(B i )∑ j P(A|B j )P(B j )  
也就是说:B对A的条件概率= A对B的条件概率∗B发生的概率A对B的全概率  

感想：第一次写这么多公式的笔记，最大的感触是公式太难打了，真心不容易。但是最大的好处是，我打完这些公式后，自己完全记住了这些公式。