《统计学习方法》代码实现-第1章 统计学习方法概论

1．统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。

2．统计学习方法三要素——模型、策略、算法，对理解统计学习方法起到提纲挈领的作用。

3．本书主要讨论监督学习，监督学习可以概括如下：从给定有限的训练数据出发， 假设数据是独立同分布的，而且假设模型属于某个假设空间，应用某一评价准则，从假设空间中选取一个最优的模型，使它对已给训练数据及未知测试数据在给定评价标准意义下有最准确的预测。

4．统计学习中，进行模型选择或者说提高学习的泛化能力是一个重要问题。如果只考虑减少训练误差，就可能产生过拟合现象。模型选择的方法有正则化与交叉验证。学习方法泛化能力的分析是统计学习理论研究的重要课题。

5．分类问题、标注问题和回归问题都是监督学习的重要问题。本书中介绍的统计学习方法包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场。这些方法是主要的分类、标注以及回归方法。它们又可以归类为生成方法与判别方法。

使用最小二乘法拟和曲线

高斯于1823年在误差e1,…,en独立同分布的假定下,证明了最小二乘方法的一个最优性质: 在所有无偏的线性估计类中,最小二乘方法是其中方差最小的！ 对于数据(xi,yi)(i=1,2,3...,m)

拟合出函数h(x)

有误差，即残差：ri=h(xi)−yi

此时L2范数(残差平方和)最小时，h(x) 和 y 相似度最高，更拟合

一般的H(x)为n次的多项式，H(x)=w0+w1x+w2x2+...wnxn

w(w0,w1,w2,...,wn)为参数

最小二乘法就是要找到一组 w(w0,w1,w2,...,wn) ，使得∑i=1n(h(xi)−yi)2 (残差平方和) 最小

即，求 min∑i=1n(h(xi)−yi)2

---

举例：我们用目标函数y=sin2πx, 加上一个正态分布的噪音干扰，用多项式去拟合【例1.1 11页】

import numpy as np
import scipy as sp
from scipy.optimize import leastsq
import matplotlib.pyplot as plt
%matplotlib inline

• ps: numpy.poly1d([1,2,3]) 生成 1x2+2x1+3x0*

# 目标函数
def real_func(x):
    return np.sin(2*np.pi*x)

# 多项式
def fit_func(p, x):
    f = np.poly1d(p)
    return f(x)

# 残差
def residuals_func(p, x, y):
    ret = fit_func(p, x) - y
    return ret

In [4]:

# 十个点
x = np.linspace(0, 1, 10)
x_points = np.linspace(0, 1, 1000)
# 加上正态分布噪音的目标函数的值
y_ = real_func(x)
y = [np.random.normal(0, 0.1) + y1 for y1 in y_]


def fitting(M=0):
    """
    M    为 多项式的次数
    """
    # 随机初始化多项式参数
    p_init = np.random.rand(M + 1)
    # 最小二乘法
    p_lsq = leastsq(residuals_func, p_init, args=(x, y))
    print('Fitting Parameters:', p_lsq[0])

    # 可视化
    plt.plot(x_points, real_func(x_points), label='real')
    plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')
    plt.plot(x, y, 'bo', label='noise')
    plt.legend()
    return p_lsq

M=0

In [5]:

# M=0
p_lsq_0 = fitting(M=0)

Fitting Parameters: [0.02515259]

M=1

In [6]:

# M=1
p_lsq_1 = fitting(M=1)

Fitting Parameters: [-1.50626624  0.77828571]

M=3

In [7]:

# M=3
p_lsq_3 = fitting(M=3)

Fitting Parameters: [ 2.21147559e+01 -3.34560175e+01  1.13639167e+01 -2.82318048e-02]

M=9

In [12]:

# M=9
p_lsq_9 = fitting(M=9)

Fitting Parameters: [-1.70872086e+04  7.01364939e+04 -1.18382087e+05  1.06032494e+05
 -5.43222991e+04  1.60701108e+04 -2.65984526e+03  2.12318870e+02
 -7.15931412e-02  3.53804263e-02]

当M=9时，多项式曲线通过了每个数据点，但是造成了过拟合

正则化

结果显示过拟合， 引入正则化项(regularizer)，降低过拟合

Q(x)=∑i=1n(h(xi)−yi)2+λ||w||2。

回归问题中，损失函数是平方损失，正则化可以是参数向量的L2范数,也可以是L1范数。

• L1: regularization*abs(p)

• L2: 0.5 * regularization * np.square(p)

In [9]:

regularization = 0.0001


def residuals_func_regularization(p, x, y):
    ret = fit_func(p, x) - y
    ret = np.append(ret,
                    np.sqrt(0.5 * regularization * np.square(p)))  # L2范数作为正则化项
    return ret

In [10]:

# 最小二乘法,加正则化项
p_init = np.random.rand(9 + 1)
p_lsq_regularization = leastsq(
    residuals_func_regularization, p_init, args=(x, y))

In [11]:

plt.plot(x_points, real_func(x_points), label='real')
plt.plot(x_points, fit_func(p_lsq_9[0], x_points), label='fitted curve')
plt.plot(
    x_points,
    fit_func(p_lsq_regularization[0], x_points),
    label='regularization')
plt.plot(x, y, 'bo', label='noise')
plt.legend()

Out[11]:

<matplotlib.legend.Legend at 0x295a5c757b8>

第1章统计学习方法概论-习题

撰写人：胡锐锋-天国之影-Relph

github地址：https://github.com/datawhalechina/statistical-learning-method-solutions-manual

习题1.1

  说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

解答：

伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素如下：

1. 极大似然估计

模型： F={f|fp(x)=px(1−p)(1−x)}
策略： 最大化似然函数
算法： arg⁡minp⁡L(p)=arg⁡minp⁡(nk)pk(1−p)(n−k) 2. 贝叶斯估计
模型： F={f|fp(x)=px(1−p)(1−x)}
策略： 求参数期望
算法：Eπ[p|y1,⋯,yn]=∫01pπ(p|y1,⋯,yn)dp=∫01pfD(y1,⋯,yn|p)π(p)∫ΩfD(y1,⋯,yn|p)π(p)dpdp=∫01pk+1(1−p)(n−k)∫01pk(1−p)(n−k)dpdp

伯努利模型的极大似然估计：
定义P(Y=1)概率为p，可得似然函数为：L(p)=fD(y1,y2,⋯,yn|θ)=(nk)pk(1−p)(n−k)方程两边同时对p求导，则：0=(nk)[kpk−1(1−p)(n−k)−(n−k)pk(1−p)(n−k−1)]=(nk)[p(k−1)(1−p)(n−k−1)(m−kp)]可解出p的值为p=0,p=1,p=k/n，显然P(Y=1)=p=kn

伯努利模型的贝叶斯估计：
定义P(Y=1)概率为p，p在[0,1]之间的取值是等概率的，因此先验概率密度函数π(p)=1，可得似然函数为：L(p)=fD(y1,y2,⋯,yn|θ)=(nk)pk(1−p)(n−k)
根据似然函数和先验概率密度函数，可以求解p的条件概率密度函数：π(p|y1,⋯,yn)=fD(y1,⋯,yn|p)π(p)∫ΩfD(y1,⋯,yn|p)π(p)dp=pk(1−p)(n−k)∫01pk(1−p)(n−k)dp=pk(1−p)(n−k)B(k+1,n−k+1)所以p的期望为：Eπ[p|y1,⋯,yn]=∫pπ(p|y1,⋯,yn)dp=∫01p(k+1)(1−p)(n−k)B(k+1,n−k+1)dp=B(k+2,n−k+1)B(k+1,n−k+1)=k+1n+2∴P(Y=1)=k+1n+2

习题1.2

  通过经验风险最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。

解答：

假设模型的条件概率分布是Pθ(Y|X)，现推导当损失函数是对数损失函数时，极大似然估计等价于经验风险最小化。 极大似然估计的似然函数为：L(θ)=∏DPθ(Y|X)两边取对数：ln⁡L(θ)=∑Dln⁡Pθ(Y|X)arg⁡maxθ⁡∑Dln⁡Pθ(Y|X)=arg⁡minθ⁡∑D(−ln⁡Pθ(Y|X))反之，经验风险最小化等价于极大似然估计，亦可通过经验风险最小化推导极大似然估计。

---

参考代码：GitHub - wzyonggege/statistical-learning-method: 《统计学习方法》笔记-基于Python算法实现

本文代码更新地址：https://github.com/fengdu78/lihang-code

习题解答：https://github.com/datawhalechina/statistical-learning-method-solutions-manual

中文注释制作：机器学习初学者公众号：ID:ai-start-com

配置环境：python 3.5+

代码全部测试通过。