【人工智能中“预测”的知识点】

写在前面的话

《统计学习方法》中与预测有关的知识点，图片拍得有些不清楚，大家可以去查一下这两个知识点。同时还有回归也涉及预测。

隐马尔可夫模型的预测算法

条件随机场的预测算法

回归

线性回归

• 回归模型:
  $$f\left(x_i\right)={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$
• 权重更新（反向传播）：使用梯度下降逼近
  $$w_i^{\ast }=w_i+\alpha \frac{\partial Loss}{\partial w_i}$$

lr = LinearRegression() #利用已知数据与标签对模型进行训练 
lr.fit(train_data, train_label) #对未知数据进行预测 
predict = lr.predict(test_data)

对数几率回归（Logistic回归）：二分类任务

• 回归模型:
  $$\begin{array}{l}f\left(x_i\right)=\sigma \left({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b\right)\\ \sigma =\text{ Sigmoid }=\frac{1}{1+e^{-z}}\\ z={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b\end{array}$$
• 权重更新 (反向传播)：使用梯度下降逼近

对 sigmoid 求导:
$$\begin{array}{l}\text{ Loss }={\sum }_{i=1}^n\left(y\ln f\left({\mathbf{x}}_{\mathbf{i}}\right)+(1-y)\ln 1-f\left({\mathbf{x}}_{\mathbf{i}}\right)\right)\\ w_i^{\ast }=w_i+\alpha \frac{\partial Loss}{\partial w_i}=w_i-\alpha {\sum }_{i=1}^n\left(f\left({\mathbf{x}}_{\mathbf{i}}\right)-y_i\right)x_i\\ b^{\ast }=b+\alpha \frac{\partial Los}{\partial b}=b-\alpha {\sum }_{i=1}^n\left(f\left({\mathbf{x}}_{\mathbf{i}}\right)-y_i\right)\end{array}$$

logreg = LogisticRegression(C=100) 
logreg.fit(train_data, train_label) 
predict = logreg.predict(test_data)