从基本原理到梯度下降，看梯度下降如何运用到神经网络里的

搭建基本模块——神经元

在说神经网络之前，我们讨论一下神经元（Neurons），它是神经网络的基本单元。神经元先获得输入，然后执行某些数学运算后，再产生一个输出。比如一个2输入神经元的例子：
在这个神经元中，输入总共经历了3步数学运算，

先将两个输入乘以权重（weight）：

x1→x1 × w1
x2→x2 × w2

把两个结果想加，再加上一个偏置（bias）：

（x1 × w1）+（x2 × w2）+ b

最后将它们经过激活函数（activation function）处理得到输出：

y = f(x1 × w1 + x2 × w2 + b)

激活函数的作用是将无限制的输入转换为可预测形式的输出。一种常用的激活函数是sigmoid函数：
sigmoid函数的输出介于0和1，我们可以理解为它把 (−∞,+∞) 范围内的数压缩到 (0, 1)以内。正值越大输出越接近1，负向数值越大输出越接近0。

举个例子，上面神经元里的权重和偏置取如下数值：

w=[0,1]
b = 4

w=[0,1]是w1=0、w2=1的向量形式写法。给神经元一个输入x=[2,3]，可以用向量点积的形式把神经元的输出计算出来：

w·x+b =（x1 × w1）+（x2 × w2）+ b = 0×2+1×3+4=7
y=f(w⋅X+b)=f(7)=0.999

以上步骤的Python代码是：

import numpy as np

def sigmoid(x):
  # Our activation function: f(x) = 1 / (1 + e^(-x))
  return 1 / (1 + np.exp(-x))

class Neuron:
  def __init__(self, weights, bias):
    self.weights = weights
    self.bias = bias

  def feedforward(self, inputs):
    # Weight inputs, add bias, then use the activation function
    total = np.dot(self.weights, inputs) + self.bias
    return sigmoid(total)

weights = np.array([0, 1]) # w1 = 0, w2 = 1
bias = 4                   # b = 4
n = Neuron(weights, bias)

x = np.array([2, 3])       # x1 = 2, x2 = 3
print(n.feedforward(x))    # 0.9990889488055994

我们在代码中调用了一个强大的Python数学函数库NumPy。

梯度下降算法

每一个机器学习模型都有一个损失函数，学习的目的，就是将损失函数最小化。损失函数y是一个关于待求参数x的函数，即：[公式]

然而，并非所有函数都能一下子就找到最小值。

所以，需要使用梯度下降法。

梯度下降法的过程（损失函数以下面这个一元函数y=f(x)为例）：

1. 随机初始化待求参数x的初始值，比如 x ←