真正的DAY1

人工智能的发展历史：
1.20世纪40年代，Warren McCulloch和Walter Pitts的研究展示了人工神经网络原则上可以计算任何逻辑和算术功能。
2.20世纪50年代，弗兰克·罗森布拉特（Frank Rosenblatt）发明了感知网络和相关学习规则。罗森布拉特和他的同事创建了一个感知器网络，并演示了其执行模式识别的能力。
3.Teuvo Kohonen[Koho72]和James Anderson[Ande72]独立并单独地开发了新的神经网络，可以作为记忆的功能。
4.在20世纪60年代末，人们对神经网络的兴趣失败因为缺乏新思想和强大的计算机来进行实验。
5.在20世纪80年代，这两个障碍都被克服了，研究飞速发展。新的个人电脑和工作站，它们迅速增长的能力，变得广泛可用。20世纪80年代的第二个关键发展是训练多层感知器网络的反向传播算法，它的发现由几个不同的研究人员独立完成。在这个年代，成千上万的论文被撰写，神经网络发现了无数的应用，并且该领域已经被新的理论和实践工作所轰动。
神经元模型及网络结构
1.单输入神经元：
a=f（wp+b）；
其中
a：标量，作为神经元的输出，代表着细胞轴突上的信号
f：激活函数或者叫传输函数，传输函数的选择是依据神经元要解决的问题来确定的。
w：标量，权值，对应的是生物神经元突触连接的强度
p：标量输入
b：标量，偏置值b，也叫补偿
n=wp+b：净输入

1.1 硬限值传输函数（hard limit):
a=hardlim(n),如果函数的n小于0，神经元的输出为0，n>=0,则输出为1，hardlim(n)=hardlin(wp+b)
1.2对称硬限值传输函数(symmetrical hard limit)：
a=-1,n<0;
a=+1,n>=0;
1.3饱和线性传输函数（saturating linear）
输出等于输入 a=n
1.4：对称饱和线性传输函数
a=-1 n<-1
a=n -1<=n<=1
a=1 n>1
对数-S型（log-sigmoid）传输函数
a=1/1+e的-n次方
1.5双曲正切S型传输函数(symmetric saturating linear)
a=e的n次方-e的－n次方/e的n次方+e的-n次方
1.6正线性传输函数（positive linear）
a=0,n<0
a=n,n>=0
1.7竞争传输函数：
a=1 取最大值传输函数
a==，其它神经元