lecture 14：Learning：Sparse Spaces，Phonology【一些基础工程or科学方法论】

稀疏空间、音韵学

关于学习首先讲了一些基本方法，包括最近邻、识别树，这些都是存在了很久的概念，在我们遇到学习问题却又不知道该用什么方法的时候仍然有用。

接着讨论了一些朴素的生物模仿，包括神经网络和遗传算法，让他们做事情就像捆住了狗的腿再让它走路，需要很多巧妙的训练才行，老师个人不是很推荐这些做法。

今天将讨论一些机制或思想不同于以往，我们将聚焦于问题而不是机制，然后将谈到理论本身。

问题：

下面的这个例子很重要，但是我对这个例子的掌握理解不是很到位，所以描述的不清不楚，到后面例子的部分内容干脆没写，免得以后看到了反而产生误解，如果需要这部分知识再回头看一下老师的课程视频。

如何复数化？dog的复数是dogs读作z的音，cats读作s的音，我们轻松的学到的这一点，如何做到的呢？
我们将经历一个案例研究，使用工程学的观点考虑这类问题如何解答。

发出声波，然后识别出特征序列，生成意思，再反馈于特征序列。

把ga和ba发音混起来，如果不看单纯听会听不清说的是什么比如误听为da等音，视觉对听觉很有影响。题外话：如果看不到说话人，想正确发音会很困难，很多学外语的人学不好就是因为看不到发音的人。

找出一些正例和反例，推广正例（去掉一些参数），直到反例也被包括进来，这就是工作原理。

理论：

marr：处理AI问题时。
首先，要明确问题
第二步是设计一种表示方式，适用于问题
第三步，确定一个处理方式，可以是一种思路一种方法
第四步，选一个机制，或者说设计一种算法
第五步，实验
整个过程不会线性的向下流动，中间可能会有很多的回路。

科学方法就是这样，但是搞AI的人一般并不大喜欢按照这样来做，他们喜欢抓住特定机制不放，然后把这些机制生搬硬套到所有的问题上去，比如神经网络，人类智能可能都用某种合适的神经网络来解释，但这是不正确的，生搬硬套可能会套到不适用的问题。上述关于语言的例子就是从问题开始的例子，然后将问题用正确的方法表示，也就是区别性特征，有了正确的表示，约束条件就会出现，这让我们能够设计一种方法，然后以此为基础进行实验。
问题和机制不匹配是无法解决问题的。

什么是优良的表示representation？
特征1是要把东西表示地正确、精确，在语言例子中就是区别性特征。
特征2是能否让约束条件暴露出来，我们需要约束条件才能通过处理得到答案
特征3局部性标准

这些是一些基础知识，能够让你成为一名更聪明的工程师或科学家。