此博客内容主要是小可日常工作中的一些问题解决的记录整理而成

事实上，随着科学研究的基本手段从传统的“理论+实验”走向现在的“理论+实验+计算”​，乃至出现“数据科学”这样的提法，机器学习的重要性日趋显著，因为“计算”的目的往往是数据分析，而数据科学的核心也恰是通过分析数据来获得价值。今天，机器学习已经与普通人的生活密切相关。今天，在计算机科学的诸多分支学科领域中，无论是多媒体、图形学，还是网络通信、软件工程，乃至体系结构、芯片设计，都能找到机器学习技术的身影，尤其是在计算机视觉、自然语言处理等“计算机应用技术”领域，机器学习已成为最重要的技术进步源泉之一。

例如，若认为相似的样本应有相似的输出（例如，在各种属性上都很相像的西瓜，成熟程度应该比较接近）​，则对应的学习算法可能偏好图1.3中比较“平滑”的曲线A而不是比较“崎岖”的曲线B。敲声=沉闷）​”​，学得模型时而告诉我们它是好的、时而告诉我们它是不好的，这样的学习结果显然没有意义。对“根蒂”还是对“敲声”更重视，看起来和属性选择，亦称“特征选择”(featureselection)有关，但需注意的是，机器学习中的特征选择仍是基于对训练样本的分析进行的，而在此处我们并非基于特征选择做出对“根蒂”的重视；

是的，但这是一个已见过的瓜，别忘了我们学习的目的是“泛化”​，即通过对训练集中瓜的学习以获得对没见过的瓜进行判断的能力。如果仅仅把训练集中的瓜“记住”​，今后再见到一模一样的瓜当然可判断，但是，对没见过的瓜，例如“​（色泽=浅白）∧（根蒂=蜷缩）∧（敲声=浊响）​”怎么办呢？需注意的是，现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”​，我们称之为“版本空间”(version space)。

机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，在计算机系统中，​“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，一边满心期待着皮薄肉厚瓤甜的爽落感，一边愉快地想着，这学期狠下了工夫，基础概念弄得清清楚楚，算法作业也是信手拈来，这门课成绩一定差不了！希望各位在学期结束时有这样的感觉。

这组记录的集合称为一个“数据集”(data set)，其中每条记录是关于一个事件或对象（这里是一个西瓜）的描述，称为一个“示例”(instance)或“样本”(sample)反映事件或对象在某方面的表现或性质的事项，例如“色泽”​“根蒂”​“敲声”​，称为“属性”(attribute)或“特征”(feature)；xid)是d维样本空间中的一个向量，xi∈，其中xij是xi在第j个属性上的取值（例如上述第3个西瓜在第2个属性上的值是“硬挺”​）​，d称为样本xi的“维数”(dimensionality)。