基础知识累积

1、统计学习方法分类
    1）监督学习
    2）非监督学习
    3）半监督学习
    4）强化学习

2、统计学习三要素/三步骤
    1）模型：确定模型的假设空间
    2）策略：确定模型选择的准则
    3）算法：求解并选择最优模型

3、主要学习问题分类
    1）分类问题
          输出值为离散值（如预测明天的天气：【晴天、阴天、雨天】），若只有两个类别则为二分类问题，超过两个类别则为多分类问题。
    2）回归问题
          输出值为连续值（如预测明天的气温）
    3）标注问题
          输出值为序列（如：词性标注），由观测序列得到标记序列。
          例如， 英文句子是一个观测序列，给出以下的观测序列， 标注系统产生相应的标记序列， 即给出句子中的基本名词短语。
          输入： At Microsoft Research,we have an insatiable curiosity and the desire to create new technology that will help define the computing experience。
          输出： At/O Microsoft/B Research/E,we/O have/O an/O insatiable/B curiosity/E and/O the/O desire/BE to/O create/O new/B technology/E that/O will/O help/O define/O the/O computing/B experience/E。

4、泛化能力
   泛化能力：模型对未知数据的预测能力。
   泛化误差：对未知数据预测的误差，反映了模型的泛化能力。

5、监督学习模型分类
   1）生成模型
         学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测模型（如：朴素贝叶斯，隐马尔可夫）
         生成方法特点：可还原出联合概率分布；学习收敛速度快；存在隐变量时，仍可使用。
   2）判别模型
         直接学习决策函数F(X)或者条件概率分布P(Y|X)作为预测模型（如：KNN，DT，LR，SVM）
         直接学习，直接面对预测，往往学习准确率更高；可以对数据各种程度的抽象、定义特征并使用特征从而简化学习；

6、常用的模型性能评价指标
    TP——将正类预测为正类数；
    FN——将正类预测为负类数；
    FP——将负类预测为正类数；
    TN——将负类预测为负类数；
   1）准确率
                              
   2）精确率
                            
   3）召回率
                             
   4）F1
                          
   5）AUC

7、欠拟合与过拟合
   1）欠拟合：模型复杂度太低，没有很好的拟合已知数据，泛化能力差。
         解决方法：
         a.增加新特征(特征组合、高次特征)；
         b.减少正则化参数；
         c.使用非线性模型；
         d.调整模型的容量(capacity)(通俗地，模型的容量是指其拟合各种函数的能力）如集成学习；
   2）过拟合：模型复杂度太高，对已知数据拟合的好，对未知数据拟合的差，泛化能力差。
         解决方法：
         a.正则化；
         b.增加数据样本；
         c.PCA、特征那选择等技术降维、去掉冗余特征；
         d.提前结束训练；

6、模型选择方法
   1）正则化
     （1）L1范数：
                                           
     （2）L2范数：

                                         
    （3）L1和L2的作用：
          a.L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择，一定程度上，L1也可以防止过拟合;
          b.L2正则化可以防止模型过拟合（overfitting）；

1.什么是稀疏矩阵？
很多元素为0，只有少数元素是非零值的矩阵。

2.为什么L1可以产生稀疏矩阵（L1是怎么让系数等于零的）？
参考：https://blog.csdn.net/jinping_shi/article/details/52433975
           https://blog.csdn.net/liuweiyuxiang/article/details/99984288
3.L1和L2的区别？
a.L1可以产生稀疏权值矩阵，即产生一个稀疏模型，最后使用的是它们最重要的输入特征的稀疏子集;
b.L2使模型更倾向于使用所有输入特征，而不是严重依赖输入特征中某些小部分特征。 L2惩罚倾向于更小更分散的权重向量，这就会鼓励分类器最终将所有维度上的特征都用起来，而不是强烈依赖其中少数几个维度;
c.在实践中，如果不是特别关注某些明确的特征选择，一般说来L2正则化都会比L1正则化效果好;

         
   2）交叉验证
        将数据切分为三部分：训练集（训练模型）、验证集（选择模型）、测试集（评估模型）
      （1）简单交叉验证
               训练集+测试集
      （2）S折交叉验证
               step1:随机将数据切分成S个不相交的子集；
               step2:利用S-1个子集的数据训练模型，剩下的子集测试模型；
               step3:S种选择重复进行；
               step4:选出S次测评中平均测试误差最小的模型；
      （3）留一交叉验证
                S折的特殊情形S=N,N是数据集的容量

7、损失函数与风险函数
   1）损失函数/代价函数：度量模型一次预测的好坏
      常用损失函数：
    （1）0-1损失函数
                                            
    （2）平方损失函数
                                            
    （3）绝对损失函数
                                            
    （4）对数损失函数
                                            
   2）风险函数：平均意义下模型的好坏
      经验风险/经验损失：训练集的平均损失
                                            
      经验风险最小化：
                                             
      结构风险最小化（当样本量少时容易产生过拟合）：
                                            
                    ，
   监督学习问题就变成了求解结构风险最优化问题：