对于“统计学习方法”的系统学习（一）

    学习教材采用清华大学李航博士所著的《统计学习方法》。

    一、统计学习方法三要素：模型，策略，算法。

    二、实现统计学习方法的步骤：

        1、得到一个有限的训练数据集合；

        2、确定包含所有可能的模型的假设空间，即学习模型的集合；

        3、确定模型选择的准则，即学习的策略；

        4、实现求解最优模型的算法，即学习的算法；

        5、通过学习方法选择最优模型；

        6、利用学习的最优模型对新数据进行预测或分析。

    三、统计学习包括：监督学习、非监督学习、半监督学习及强化学习。

        监督学习：输入变量和输入变量均为连续变量的预测问题为回归问题；输出变量为有限个离散变量的预测问题为分类问题；输入变量和输出变量均为变量序列的预测问题称为标注问题。

        统计学习假设数据存在一定的统计规律，X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。

        方法=模型+策略+算法

        由决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型。

        损失函数（loss Function，代价函数cost Function）：度量模型一次预测的好坏；风险函数：度量平均意义下的模型预测的好坏。

        常用损失函数：

        （1） 0-1损失函数；        （2） 平方损失函数；        （3） 绝对损失函数；        （4）对数损失函数

        经验风险最小化与结构风险最小化（正则化）。

        结构风险在经验风险上加上表示模型复杂度的正则化项（regularizer）或罚项(penalty term)