机器学习（第一章）

第一章 绪论

1.1 引言

• 根据训练数据是否有标记可将训练任务分为"有监督学习"（supervised learning）和“无监督学习”（unsupervised learning），前者有回归和分类，后者有聚类。
• 泛化能力：模型适用于新样本的能力
• 机器学习在学习过程中对某种类型假设的偏好，称为归纳偏好（inductive bias）
  任何有效的机器学习算法都必须有归纳偏好，否则就会在看似“等效”的假设空间中的假设所迷惑。比如在同一个训练集我们得出两条拟合曲线，机器学习一定会因为某种原因更加偏好其中一种。那么到底选哪种呢？一般引用的原则是奥卡姆剃刀（Occam’s razor），即“主张选择与经验观察一致的最简单假设”；当然还有多解释原则，”主张保留与经验观察一致的所有假设“，主要应用在集成学习中
• 没有免费午餐定理（No Free Lunch Theorem）：
  1）对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同；
  2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；
  3）对所有的先验知识求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；
  4）对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同。
  NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法。这只是理论上，假设了目标函数是均匀分布的，而实际中所有的问题出现的机会和重要性并不相同。
• 数据挖掘与机器学习的联系
  数据挖掘受数据库、机器学习、统计学的影响最为深远，数据库为数据挖掘提供了数据管理技术，机器学习和统计学则提供了数据分析的技术，统计学的研究成果通常通过机器学习来形成算法，再进入数据挖掘领域，可以理解成统计学通过机器学习来发挥作用，机器学习和数据库是数据挖掘的两大支撑。（本学期开设了数据挖掘的课程，这里的解释让我茅塞顿开！）

本章介绍了机器学习的发展历史、重要的基本思想如归纳偏好，以及很有趣的应用场景，最记忆深刻的例子是奥巴马竞选总统时作为”核武器“的半监督学习专家团队，这是一个生动的应用场景，当算法足够强大，能带来的效果是不可估量的。本章最后推荐了机器学习的重要期刊和杂志，对我这个信息搜索的小白很受用，如下：

1） 国际学术期刊_Journal of Machine Learning Research_、Machine Learning
2）人工智能重要会议：IJCAI、AAAI_以及期刊_Artificial Intelligence、Journal of Artificial Intelligence Research
3）数据挖掘领域重要会议：KDD、ICDM_以及期刊_ACM Transaction on Knowledge Discovery from Data、Data Mining and Knowledge Discovery
4）计算机视觉 模式识别领域的重要会议： CVPR 以及重要期刊如 IEEE ansactions on Pattern Analysis and Machine Intelligence
5）神经网络领域的重要期刊如 Neural Computation IEEE ansactions on Neural Networks and Learning Systems
6）统计学领域的重要期刊如 Annals of Statistics 等也常有关于统计学习方面的理论文 发表