2021-06-13

一.神经网络

一个神经元可以有多个输入。
一个神经元只能有一个输出，这个输出可以同时输入给多个神经元。
一个神经元的 ww 的数量和输入的数量一致。
一个神经元只有一个 bb。
ww 和 bb 有人为的初始值，在训练过程中被不断修改。
AA 可以等于 ZZ，即激活函数不是必须有的。
一层神经网络中的所有神经元的激活函数必须一致。

二.梯度下降

2.3.1 从自然现象中理解梯度下降
在大多数文章中，都以“一个人被困在山上，需要迅速下到谷底”来举例，这个人会“寻找当前所处位置最陡峭的地方向下走”。这个例子中忽略了安全因素，这个人不可能沿着最陡峭的方向走，要考虑坡度。

在自然界中，梯度下降的最好例子，就是泉水下山的过程：

水受重力影响，会在当前位置，沿着最陡峭的方向流动，有时会形成瀑布（梯度下降）；
水流下山的路径不是唯一的，在同一个地点，有可能有多个位置具有同样的陡峭程度，而造成了分流（可以得到多个解）；
遇到坑洼地区，有可能形成湖泊，而终止下山过程（不能得到全局最优解，而是局部最优解）。
2.3.2 梯度下降的数学理解
梯度下降的数学公式：θn+1​=θn​−η⋅∇J(θ)

2.3.3梯度下降
假设一个单变量函数：J(x)=x 2

我们的目的是找到该函数的最小值，于是计算其微分：J ′ (x)=2x

假设初始位置为：
x 0=1.2

假设学习率：η=0.3

根据公式得，迭代公式：x n+1 =x n−η⋅∇J(x)=x n−η⋅2x
上面的过程如图所示。
mport numpy as np
import matplotlib.pyplot as plt

def target_function(x):
y = x * x
return y

def derivative_function(x):
return 2 * x

def draw_function():
x = np.linspace(-1.2, 1.2)
y = target_function(x)
plt.plot(x, y)

def draw_gd(X):
Y = []
for i in range(len(X)):
Y.append(target_function(X[i]))

plt.plot(X, Y)

if name == ‘main’:
x = 1.2
eta = 0.3
error = 1e-3
X = []
X.append(x)
y = target_function(x)
while y > error:
x = x - eta * derivative_function(x)
X.append(x)
y = target_function(x)
print(“x=%f, y=%f” % (x, y))

draw_function()
draw_gd(X)
plt.show()