西瓜书读书笔记之序言、前言与如何使用本书

在导师的安排下，终于开始了学习机器学习的漫漫征途。

说到这，不禁想起昨日与我哥说起学习机器学习这句话的两种理解。一是，学习|机器学习；二是，学习机器|学习。值得一提的是后者，大一下学期我在信通院旁听张闯老师的python编程与实践这门课时，就听老师提到过，研究机器学习有助于理解人是如何学习的。不料前二日读西瓜书绪论中应用现状一节，发现周老师也提到，机器学习有助于“通过建立一些关于学习的计算模型来促进我们理解‘人类如何学习’”。周老师以SDM(Sparse Distributed Memory)模型为例，指出其中的稀疏编码机制在脑皮层中广泛存在。如此说来，研究机器学习具有一定的哲学意义，细思极恐还是妙不可言？我倾向于后者。

谈谈序言。

陆汝钤教授六问，让我吃了一惊，仿佛序言只是他一抒己见的由头而已。

Q1：符号学习是否被彻底忽略？

对此有三种答案：

1. 符号学习应该被淘汰。这一答案恐怕已被多数人默认。
2. 单纯的统计学习已然末路，出路在于和符号学习相结合。王珏教授认为，机器学习已经到了转折点，统计学习应该和知识的利用相结合，此乃“螺旋式上升，进入更高级的形式”。他还认为，进入转折点的标志就是Koller等的《概率图模型》一书的出版。
3. 事物发展总是“三十年河东，三十年河西”。俄亥俄大学Chandrasekaran教授持此观点，实质上与王珏教授基本一致，但更强调基本的“认知”。

Q2：独立同分布条件对于机器学习来讲真是必需的吗？

王珏教授认为统计学习不会“一帆风顺”的判据是：统计学习算法都是基于样本数据独立同分布的假设，但是自然界千变万化，哪有那么多独立同分布？陆汝钤教授认为，无独立同分布条件下的机器学习并非不可解。尽管现在的迁移学习还要求双方“独立同分布”，但是不同分布之间，同分布和异分布之间的迁移学习也许迟早会出现？

Q3：深度学习是否又要取代统计学习了？

包括周老师在内的一些学者认为，深度学习掀起的热潮也许大过它本身真正的贡献，在理论和技术上并没有太多的创新，只是由于硬件技术的革命，计算机速度大大提高了，使得人们有可能用原来复杂度很高的算法，从而得到比过去更精细的结果。

Q4：只有统计方法适合于机器学习方面的应用吗？

“出头露面的是概率和统计，埋头苦干的是代数和逻辑”，这是统计学习的现状。是否可以想象以数学方法为主角，统计方法为配角呢？这方面流形学习已经“有点意思”。此外，微分方程在归纳学习上得到了应用。

Q5：符号学习以离散方法为主，统计学习则是连续方法，二者之间应无鸿沟

从微分流形到李群，再到李代数，就是一个沟通连续与离散的过程。

Q6：大数据时代的出现，有没有给机器学习带来本质性的影响？

大数据处理分成三个阶段：收集、分析和预测。目前焦点在于科学的预测。那么，大数据时代使用已有的方法与以往有什么本质的不同吗？数据的量变有没有引发方法的质变？大数据时代真正需要什么样的方法？又有哪些方法缘于大数据？

谈谈前言与如何使用本书。

几点说明：

1. 本书仅为入门教科书（实际阅读起来...嗯，反正是我看的第一本书）。入门阶段最需要的是理清基本概念、了解领域概貌。“顾及细微”应该让位于“观其大略”，否则难免只见树木、不见森林。理解学派间的包容等价，在进阶之后对融会贯通大有裨益，但入门阶段，看清各自本原更为重要。
2. 反复读。出入门径后，不妨搁书熟习套路，数月后再阅，于原不经意处或能有新得。

几句叮嘱：

1. 信息搜索是理工科学生必备的本领，只需知道自己在找什么，就一定能找到材料。
2. 以有限之套路应对无限之变化，焉有不败！
3. 算法是“死”的，思想才是“活”的。欲行此道，则务须把握算法背后的思想脉络。