目录
第1章 绪论
1.1机器学习：研究关于“学习算法”的学问 => 在计算机上从数据（经验）中产生“模型”的算法。
1.2基本术语：
数据集 100个西瓜
样本（示例） 1个西瓜
特征（属性） 色泽、根蒂、敲声
特征值 乌黑、蜷缩、沉闷
样本空间（输入空间） 上述是三维空间
特征向量 每个样本在样本空间里对应的坐标向量
训练（学习） 从数据中学得模型
训练数据
训练样本（训练例）
训练集
学习器 模型，可看作学习算法在给定数据和参数空间上的实例化
标记 示例的结果信息
样例 拥有标记信息的示例
标记空间（输出空间） 所以标记的集合
分类 有监督学习 离散值 分为：二分类（正反类）、多分类
回归 有监督学习 连续值
聚类 无监督学习 通常无标记信息
测试
测试样本（测试例）
泛化能力 学得模型适应于新样本的能力
1.3假设空间：
归纳 从特殊到一般 分为：广义、狭义（学得概念）
演绎 从一般到特殊
假设空间
版本空间 与训练集一致的“假设集合”
第2章 模型评估与选择
2.1经验误差与过拟合：
错误率 E = a/m
精度 1 - E
误差 |学习器的预测输出 - 样本的真实输出|
训练误差 （经验误差） 学习器在训练集上的误差
泛化误差 学习器在新样本上的误差
过拟合（过配） 学习能力过强 麻烦，无法彻底避免
欠拟合（欠配） 学习能力低下 较容易克服
2.2评估方法：
测试集 尽可能与训练集互斥
测试误差
得到测试集和训练集的方法：
1、留出法：
将数据集D划分出两个互斥集合（三七分、二八分），划分时要尽可能保持数据分布的一致性；
一般要进行多次随机划分，训练出多个模型，重复实验评估后取平均值。
缺点：
测试集小，则模型更接近于D训练出的模型，但评估结果不够稳定准确；
训练集小，则模型与D训练出的模型有较大差别，评估结果的保真性降低。
2、交叉验证法：
k折交叉验证：
将数据集D分成k个相似的互斥子集（分层采样），每个子集要尽可能保持数据分布的一致性，每次用(k-1)个子集的并集作为训练集，剩下的那个子集为测试集，可获得k组训练/测试集，进行k次训练和测试，返回k次实验结果的平均值；
一般k个子集要进行多次随机划分，最终得多次k折交叉验证结果的平均值。
特例：留一法 往往被认为较为准确，但某些情况下误差极大。
缺点：数据量较大时，对算力要求高
3、自助法：
对有m个样本的数据集D自主采样m次（放回采用），D中约有36.8%的数据未出现在采样数据集D'中，将D'作为训练集，将D/D'作为测试集(/：集合减法)。
适用于数据集较小，难以划分训练/测试集的情况。
缺点：改变了初始数据集的分布会引入估计偏差
调参与最终模型：
验证集 模型评估与选择中用于评估测试的数据集
将训练集分为验证集和测试集，基于验证集进行模型选择和调参。
2.3性能度量：
D = {(x1,y1),(x2,y2),(x3,y3)...(xm,ym)}，评估学习器f的性能，即比较学习器预测结果f(x)与真实标记y。
均方误差：
p( )为概率密度函数
错误率：
精度：
查准率P、查全率R：
分类结果混淆矩阵
对于二分类问题，
查准率P为真正例占预测正例的比值（预测正例中准确的）
查准率公式
查全率R为真正例占真实正例的比值（真实正例中被预测出的）
查全率公式
查全率和查准率两者相互矛盾
BEP（平衡点） 查全率 = 查准率 时的取值
P-R曲线与平衡点示意图
在P-R曲线与平衡点示意图中，
由于A曲线完全包住C曲线，所以认为学习器A性能优于学习器C。
由于A曲线的BEP大于B曲线的BEP，所以认为学习器A性能优于学习器B。
F1度量 基于查准率和查全率的调和平均
Fβ F1度量的一般形式，能表达出对查准率和查全率的不同偏好
β>1时偏向查全率，β<!时偏向查准率
对于二分类混淆矩阵，
宏查全率(macro-P)、宏查准率(macro-R)、宏F1(macro-F1)：
先在各混淆矩阵上求查全率和查准率，再求平均
微查全率(micro-P)、微查准率(micro-R)、微F1(micro-F1)：
先在各混淆矩阵上求各元素平均值，再求查全率和查准率
以上思路均来源于《机器学习》前两章内容，仅代表个人理解。
309
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
