CH1-机器学习的数学基础

高等数学

导数

拉格朗日乘子法
拉格朗日函数： 𝐿(𝑥,𝑦)=𝑓(𝑥,𝑦)+𝜆𝜑(𝑥,𝑦) 𝑓(𝑥,𝑦)为要优化的函数；𝜑(𝑥,𝑦) 为限制条件。对 𝑥,𝑦,𝜆 分别求偏导之后由得到的三个式子可以解出最优解。

概率论与数理统计

大数定律：
切比雪夫大数定律、伯努利大树定律、辛钦大数定律
中心极限定理：当样本量足够大时，样本均值的分布慢慢变成正态分布

随机过程

随机过程描述的是一个量随时间可能的变化，在这个过程里，每一个时刻变化的方向都是不确定的,
随机过程就是由一系列随机变量组成，每一个时刻系统的状态都由一个随机变量表述，而整个过程则构成态空间的一个轨迹.

马尔科夫过程(Markov Processes)

随机过程的每一步的结果最多只与上一步有关，而与其它无关。

master equation

$$\frac{d\mathbf{P}}{dt}=A(t)\mathbf{P}$$

维纳过程

维纳过程对布朗运动在理论上做出了精确的数学描述。布朗运动是物理学家布朗在观察漂浮在液面上的花粉的不规则运动而提出的。因此布朗运动又称为维纳过程。

正态过程（高斯过程）

泊松过程

Metropolis-Hasting 算法

Metropolis-Hasting 算法：
MH算法是一个基于Markov Chain Monte Carlo(MCMC) 的近似算法,马尔科夫链蒙特卡洛方法(Markov Chain Monte Carlo)，简称MCMC
它实现的原理是首先根据给定的任意一个概率分布，构造一个以该分布为静态分布的Markov Chain，然后执行该Markov Chain 到达收敛之后（每个点被访问的概率服从静态分布）开始采样，此时获得的采样集合近似认为是服从给定分布 π 的。

import numpy as np
import matplotlib.pyplot as plt
from matplotlib import cm
from mpl_toolkits.mplot3d import Axes3D
import seaborn as sns
%matplotlib inline
import time


plt.rcParams["figure.dpi"] = 300
fig = plt.figure()

ax = Axes3D(fig)

# 对于a = 1 ，b = 1 的情况求全局最小值
a = 1
b = 1

# 绘制图形
x = np.linspace(-10, 10, 200)
y = np.linspace(-10, 10, 200)
x, y = np.meshgrid(x, y)
z = np.square(a - x) + b * np.square(y - np.square(x))
surf = ax.plot_surface(x,
                       y,
                       z,
                       rstride=1,
                       cstride=1,
                       cmap=cm.coolwarm,
                       linewidth=0,
                       antialiased=False)

ax.set_xlabel('x')
ax.set_ylabel('y')
fig.colorbar(surf, shrink=0.5, aspect=5)
# 求全局最小值
x_list = []
y_list = []


# 求导函数
def df(x, y):
    df = []
    df.append(2 * (x - a) + 4 * b * x * (y - x**2))
    df.append(2 * b * (y - x**2))
    return df


# 优化
start_time = time.time()

x = 1
y = 1
learning_rate = 0.1
for i in range(1000):
    x = x - learning_rate * df(x, y)[0]
    y = y - learning_rate * df(x, y)[1]
    x_list.append(x)
    y_list.append(y)

end_time = time.time()
running_time = end_time - start_time
print("运行时间：%f" % running_time)

x_list = np.array(x_list)
y_list = np.array(y_list)
x_list, y_list = np.meshgrid(x_list, y_list)
z_list = np.square(a - x_list) + b * np.square(y_list - np.square(x_list))
ax.scatter(x_list, y_list, z_list, c="r")

plt.show()

（第二问的全局最优解没做出来…）