神经网络 异或_神经网络原理与实现（一）

就像"唯一不变的就是变化本身"的道理一样，神经网络的研究，抑或是人工智能的研究，几经沉浮，从 M-P神经元、感知机到多层前馈神经网络，再到深度学习，形式在变，外界在变，而神经网络的"连接主义"的本质并没有变，正如"一个问题解决不了（比如训练参数过多等），将它冷处理，也许时间就是最好的解决方案（时代在进步，海量数据与超强计算力终会到来）"。尽管深度学习可解释性差，正所谓"白猫黑猫抓到耗子就是好猫"，深度学习就是一种"不忘"神经网络的"初心"，"方得"今天引领人工智能的"始终"的强大工具。

Ⅰ线性问题与感知机

神经网络的最大优势是模拟生物神经网络的并行分布式架构，这种"道法自然"的启迪在网络的并行式训练、知识的分布式存储方面，对神经网络的学习和泛化能力的提高起到了很好的推动作用。

然而，目前有一个关键的问题人类依然还没有解决，就是人类的脑细胞工作频率极低，数以亿计的神经元不断通过多巴胺传递着兴奋和抑制两种状态信息，这个工作频率最髙值却仅为100 Hz左右，正是这种高效率低能耗的神秘结构引领着神经网络的不断发展。可以说，人工神经网络不断改进与优化的进程也是人类对脑科学的不断认知的过程，因此，目前我们对神经网络的研究与模拟依然还有很长的路要走。

如果说M.P神经元是一切神经网络学习的起点，那么，感知机模型就如同入门神经网络的“Hello World”一样。我们先来回忆下神经元模型。神经元(neuron)就是由细胞体和突触构成的神经细胞(nervecell)。它是我们现在所有对神经网络模拟、研究的最基本单元。神经元的