深度学习启蒙-01

0.神经网络技术的起始年份：神经网络技术可以追溯到1943年。

1.神经网络模型如何工作：
    |-提取特征值
    |-输入特征值
        |-计算加权和
        |-阈值函数
    |-输出结果

2.模型运行中的问题：权重选的好，才算好的模型。可是人工设置并调试权重，麻烦且低效。后来Frank教授于1958年提出了感知机用来解决这个问题。

3.感知机的作用：让计算机更加自动且更加合理的设置权重大小。是首个可以根据样例数据来学习特征权重的模型。

4.学习：“感知机”通过“样例数据”  “学习” 出“特征权重”。

5.感知机的局限：感知机无法解决异或问题。

6.神经网络的“第一次低潮期”：1969年Marvin Minsky教授等在《Perceptrons:An Introduction to Computational Geometry》一书中，证明了感知机只能解决线性可分问题，无法解决异或问题。且在当时的算力条件下，无法实现多层神经网络。书中做出了“基于感知机的研究注定失败”的结论，使得整个学术界对生物启发的机器学习模型进行了抨击，从此神经网络进入了十多年的“第一次低潮期”

7.第一次神经网络复兴：20世纪80年代末，分布式知识表达和反向传播算法的提出。

8.“分布式知识表达”核心思想：显示世界中的知识和概念应该通过多个神经元（neuron）来表达，而模型中的每一个神经元也应该参与表达多个概念。

9.“分布式知识表达”意义：为之后的深度学习奠定了基础。深层神经网络可以很好的解决雷士异或问题等线性不可分问题。

10.反向传播算法的提出：20世纪80年代末，David教授等人在1986年的《自然》杂志发表的文章中首次提出反向传播算法（back propagation）。

11.反向传播算法的作用：大幅降低了训练神经网络所需要的时间。降低了训练神经网络的计算复杂度。。

12.反向传播算法的意义：训练计算复杂度的大幅降低，算力的提升，使得多层神经网络成为可能。基于此，卷积神经网络、循环神经网络、LSTM（long short-term memory）模型（长序列建模模型）诞生并发展。

13.过去神经网络技术发展受到的限制：算力不足，数据不足。

14.如今神经网络技术得以飞速发展的原因：分布式计算/存储技术的成熟，解决了算力和数据存储的问题。

15.单词向量：将单词表示为一个相对较低维度的向量（比如100维或200维）。对于语义相近的单词，其对应的单词可以通过向量在空间中的距离来描述。可运算：king-man约等于queen-woman.

16.AlphaGo的组成：蒙特卡罗树、估值网络、走棋网络。由蒙特卡罗树来协同估值网络和走棋网络。