机器学习理论_切瓜系列之1: 概念解析

1、何为“机器学习”

机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来玫善系统自身的性能在计算机系统中，"经验"通常以"数据"形式存在。
因此，机器学习所研究的主要内容是关于在计算机上从数据中产生"模型" (model) 的算法，

2、基本术语

• 数据集： 稻田里的一片西瓜
• 单样本 ，又名特征向量：稻田中单个西瓜
• 属性 ，又名数据集的特征 ：西瓜的特性，如：皮薄、汁多
• 样本空间 ： 西瓜的特征组成的合集
• 维数 ：测试西瓜用的参数
• 训练集 ：已判定质量的西瓜合集
• 测试样本 ：待判定的西瓜合集
• 学习器 ：训练得到的模型，有判定经验的瓜农
• 分类 ：将西瓜按照一定的特征来分成组合
• 回归 ：判定西瓜的成熟度
• 聚类 ：将已判定质量的西瓜分成若干组
• 泛化能力 ：建立的预测模型对新样本的预测能力
• 假设空间 ：所有可能属性组成的合集，具有特征的西瓜示例
• 经验误差 ：训练集中期望值与真实值的偏差
• 泛化误差 ：测试集中期望值与真实值的偏差
• 过拟合 ：训练效果接到100%，导致其预测效果下降的现象，

3、 归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为"归纳偏好"(inductive bias),或简称为"偏好"
归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或"价值观"

寓意：任何脱离具体问题的空泛谈论好算法，都是毫无意义的，因此，学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用.

4、模型评估与选择

当训练效果达到100%，导致其预测效果下降的现象，称之为“过拟合”

过拟合导致存在模型选择问题 理想方案是对泛化误差进行评估，然后选择最小的那个

1）评估方法

• 留出法 ：评估结果往往被认为比较准确
  缺点 ：在数据集较大时，训练m个模型计算开销大，难以忍受
• 交叉验证法
• 自助法 ， 优点 ：在数据集较小、难以有效划分时很有用

2）性能度量

• 错误率
• 精度
• 查准率
• 查全率
• F1
• ROC
• AUC

参数释义可参考 ：https://www.cnblogs.com/softlin/p/6748348.html
http://www.360doc.com/content/20/1223/14/32196507_953029234.shtml

3）偏差与方差

• 偏差：偏离程度，刻画算法拟合能力
• 方差 ：数据集变动导致的学习能力变化，刻画数据扰动所造成影响
• 噪声 ：刻画问题本身的难度

偏差与方差分解 ：用来说明泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的，

5、各领域的重要会议和期刊

• 机器学习 ：国际会议： ICML \ NIPS \ COLT 区域会议：ECML \ ACML
  期刊： JMLR ML

• 人工智能 ： IJCAI \ AAAI 期刊 ：AIJAIR

• 数据挖掘 ： KDD \ICDM 期刊 ：ACMTKDD DMKD

• 计算机视觉与模式识别 ：CVPR 期刊 ：IEEE TPAMI

• 神经网络 ： NC IEEE TNNLS

• 统计学期刊 ：AS

参考文章：周志华，机器学习，2016版
https://www.jianshu.com/p/10fc7e397a3e
https://www.jianshu.com/p/b3edf9c9f2c8
https://www.jianshu.com/p/c5111d585367