一、人工智能基础
内容参考来自https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book开源书籍《TensorFlow2深度学习》,这只是我做的简单的学习笔记,方便以后复习。
1.人工智能的三起三落
第一次兴盛期:1958 年,美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模型,一般认为 1943 年~1969 年为人工智能发展的第一次兴盛期。
第一次寒冬:1969 年,美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知机等线性模型的主要缺陷,即无法处理简单的异或 XOR 等线性不可分问题。这直接导致了以感知机为代表的神经网络的相关研究进入了低谷期,一般认为 1969 年~1982 年为人工智能发展的第一次寒冬。
第二次兴盛期:1982 年,随着 John Hopfild 的循环连接的 Hopfield 网络的提出,开启了 1982 年~1995年的第二次人工智能复兴的大潮,这段期间相继提出了卷积神经网络、循环神经网络、反向传播算法等算法模型。1997 年,现在应用最为广泛的循环神经网络变种之一 LSTM 被 Jürgen Schmidhuber 提出;同年双向循环神经网络也被提出。
第二次寒冬:遗憾的是,神经网络的研究随着以支持向量机(Support Vector Machine,简称 SVM)为代表的传统机器学习算法兴起而逐渐进入低谷,称为人工智能的第二次寒冬。
第三次兴盛期:2006 年,Geoffrey Hinton 等人发现通过逐层预训练的方式可以较好地训练多层神经网络&#x