机器学习学习笔记（一）-绪论

之前写了一篇深度学习、优化与识别的学习笔记，但是后来豆瓣书评上对这本书的评价不高，就直接放弃删除了。

• 绪论
• 模型评估与选择（1）
• 模型评估与选择（2）
• 模型评估与选择（3）
• 线性模型（1）线性回归
• 决策树
• 神经网络
• 支持向量机
• 贝叶斯分类
• 集成学习
• 聚类
• 降维与度量学习
• 特征选择与稀疏学习
• 计算学习理论
• 半监督学习
• 概率图模型
• 规则学习
• 强化学习

一、绪论

1.1引言

1.2基本术语

要进行机器学习，先要有数据，假定我们收集了一批关于西瓜的数据，例如（色泽=青绿；根蒂=蜷缩；敲声=浊响），（色泽=乌黑；根蒂=稍蜷；敲声=沉闷），（色泽=浅白；根蒂=硬挺；敲声=清脆），······，每对括号内是一条记录，“=”意思是“取值为”。
这组记录的集合称为一个“数据集”，其中每条记录是关于一个事件或对象（这里是一个西瓜）的描述，称为一个“示例”或“样本”。反映事件或对象在某方面的表现或性质的事项，例如“色泽”“根蒂”“敲声”，称为“属性”或“特征”；属性上的取值，；如“青绿”，“乌黑”，称为属性值。属性张成的空间称为“属性空间”、“样本空间”或“输入空间”。例如我们把“色泽”“根蒂”“敲声”作为三个坐标轴，则它们张成一个用于描述西瓜的三维空间，每个西瓜都可在这个空间中找到自己的坐标位置，由于空间中的每个点对应一个坐标向量，因此我们也把一个示例称为一个“特征向量”。
一般地，令D={x1,x2,…xm}表示包含m个示例的数据集，每个示例由d个属性描述（例如上面的西瓜数据使用了3个属性）。
学的模型后，使用其进行预测的过程叫做“测试”，被预测的样本称为“测试样本”。
我们还可以对西瓜进行进行“聚类”，即将训练集中的西瓜分成若干组，每组称为一个“簇”。根据训练数据是否拥有标记信息，学习任务可大致划分为两大类：“监督学习”和“无监督学习”，分类和回归是前者的代表，而聚类则是后者的代表。
我们希望机器学习训练出来的模型不止适用于训练样本，同样还能适用于新样本，称为“泛化”。

1.3假设空间
若仍然采用上面的例子，则可将好瓜和坏瓜当作我们的学习目标，我们可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”的假设，即能够将训练集中判断正确的假设。假设的表示一旦确定，假设空间及其规模大小就确定了。这里我们的假设空间由形如“（色泽=？）与（根蒂=？）与（敲声=？）”的可能取值所形成的假设组成。

1.4归纳偏好
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果。可以想象，如果没有偏好，我们的西瓜学习算法产生的模型每次在进行预测时随机抽选训练集上的等效假设，那么对于一个新瓜，学得模型时而告诉我们它是好的、时而告诉我们它是不好的，这样的学习结果是没有意义的。

1.5发展历程

1.6应用现状

1.7阅读材料