统计学习相关知识

统计学习的对象是数据，从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到数据的数据分析与预测中去。数据是多样的，各种数字，文字，图像，视频，音频等。

深度学习是机器学习中神经网络算法的延申，应用比较广泛
深度学习在计算机视觉和自然语言处理中更厉害一点

统计学习方法包括模型的空间假设，模型选择的准则、以及模型学习算法，即三要素,简称为：模型、策略、算法
泛化能力：学习方法对未知数据的预测能力
过拟合：学习时选择的模型包含的参数过多，以至于出现这一模型对已知数据预测的很好，对未知的数据测得很差。

• 有监督学习

分类：输出变量为有限个离散变量的预测问题。

• k近邻法
• 感知机
  感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1，-1二值
  。感知机对应于输入空间（特征空间）中将实列划分为正负两类的超平面，属于判别模型。是神经网络与支持向量机的基础

• 朴素贝叶斯法
• 决策树
• 决策列表
• 逻辑斯蒂回归模型
• 支持向量机
• 提成方法
• 贝叶斯网络
• 神经网络分类
  标注：输入变量与 输出变量均为变量序列的预测问题。是分类问题的一个推广
• 隐马尔科夫模型
• 条件随机场

回归问题：输入变量与输出变量均为连续变量对的预测问题。
按照输入变量的个数：分为一元回归、二元回归
线性回归、非线性回归

• 无监督学习

• 半监督学习

• 强化学习