机器学习入门一

1.第一次小结
反应事件或对象在某方面的表现或属性的事项统称为特征。从数据获得模型的过程称为学习。用来训练模型的数据称为训练集，用来验证模型准确性的数据称为测试集。
对离散数据进行预测的学习任务称为“分类”，对于连续的预测值称为“回归”。
“聚类”可以帮助我们了解数据内在的规律，能为更深入地分析数据建立模型基础，总的来说，聚类可以挖掘出数据中新的信息。
根据训练数据是否有标记信息，学习任务可以大致划分为两类，“监督学习”和“无监督学习”。
评价学得模型适用于新样本的能力称为“泛化”能力。通过学习得到的模型对应假设空间中的一个假设，对于选择哪一模型更好，取决于学习算法的“偏好”，没有偏好的模型无法产生确定的学习结果，这样的学习是没有意义的。根据“奥卡姆剃刀”法则，即“若有多个假设与观察一致，则选择最简单的那个”，一般认为更平滑的曲线以为着更简单。

2.模型评估与选择
经验误差模型训练的误差。过拟合与欠拟合相对，衡量模型的学习程度。
模型的评估方法有：留出法，交叉验证法，自助法。
模型的性能度量有：错误率，精度，查准率，查全率。查准率和查全率是一对矛盾的度量，一方的增强往往会降低另一方的属性。