神经网络介绍

神经网络是由若干神经元相互连接而成，如下图所示：

以数学公式的形式将神经元串联起来，

串联的神经元似乎只有传递的作用，那么 一根和多根似乎没有区别。
𝑧1 = _𝑏1 + _𝑤11(𝑏1 + 𝑤11𝑥1 + 𝑤12𝑥2) + _𝑤12(𝑏2 + 𝑤21𝑥1 + 𝑤22𝑥2)
= 𝑏?+ α1𝑥1 + α2𝑥2
下面再来看一个特别重要的概念——激活函数

如果没有激活函数，无论网络多么复杂，最后的输出都是输入的线性组合，而纯粹的线性组合并
不能解决更为复杂的问题。
引入激活函数之后，由于激活函数都是非线性的，这样就给神经元引入了非线性元素，使得神经
网络可以逼近任何非线性函数，这样使得神经网络应用到更多非线性模型中。
常见的且简单的激活函数：

sigmoid

relu

加入激活函数后模拟真实值的趋向：

通过在每个神经元节点处进行链式求导，复合之后就能得到输出值：

专业术语：Fully Connected Network     weight     bias     Neural Network=Deep Learning
 

附上源码：

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np

x = np.arange(-10, 10, 0.01)
y = 1.0 / (1 + np.power(np.e, -x))
plt.grid(True, linestyle='-.')
plt.xlabel('x')
plt.ylabel('f(x)')
plt.xlim((-10, 10))
plt.ylim((-0.1, 1.1))
plt.vlines(0, -0.1, 1.1, colors='r')
plt.hlines(0, -10, 10, colors='r')
plt.plot(x, y)
plt.savefig("sigmoid.jpg")
plt.show()