Fully Connect Feedforward Network

---

Fully Connect Feedforward Network(全连接前馈网络)

将多个Logistic Regression以不同的结构前后连接起来，叫做Neural Network，其中每一个Logistic Regression是一个neuron。

结构

• input layer，输入层(严格来说input layer其实不是一个layer，并不由neural所组成的)
• output layer，输出层
• hidden layer，隐藏层

---

Neural输出公式

$$output=f(w\cdot x+b)$$

• $x$：前一层输出
• $w$：全连接权值，作为neural的参数
• $b$：偏置，作为neural的参数
• $f(x)$：激励函数，$①$模拟神经元兴奋或抑制 $②$做非线性处理

---

Layer输出公式

$$output=f(Wx+b)$$

• $x$：前一层输出
• $W$：整层neural的全连接权值matrix$\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\end{array}\right]$
• $b$：整层neural的偏置vector$\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\end{array}\right]$
• $f(x)$：激励函数

---

Example

假设：

• 前一层输出vector $x$：$\left[\begin{array}{c}1\\ -1\end{array}\right]$
• 本层全连接权值matrix $W$：$\left[\begin{array}{c}{w}_{11}{w}_{21}\\ w_{12}{w}_{22}\end{array}\right]=\left[\begin{array}{c}1-2\\ -11\end{array}\right]$
  ($w_{11}$表示前一层输出$x_1$与本层Neural${}_1$的连接权值; $w_{21}$表示前一层输出$x_2$与本层Neural${}_1$的连接权值)
• 本层偏置vector $b$：$\left[\begin{array}{c}1\\ 0\end{array}\right]$
• 激励函数$\sigma$：sigmoid function

则本层输出：

$$layeroutput=\sigma (Wx+b)=\sigma (\left[\begin{array}{c}1-2\\ -11\end{array}\right]\left[\begin{array}{c}1\\ -1\end{array}\right]+\left[\begin{array}{c}1\\ 0\end{array}\right])=\sigma (\left[\begin{array}{c}4\\ -2\end{array}\right])=\left[\begin{array}{c}0.98\\ 0.12\end{array}\right]$$

---

hidden layers输出公式

$$hiddenlayersoutput=f(W_n\cdots f(W_{2}f(W_{1}x+b_1)+b_2)\cdots +b_n)$$

• $W_i$、$b_i$为各层的权值matrix和偏置vector
• 公式仅表示hidden layer的输出

---

Output Layer输出公式

$$networkoutput=softmax(z)$$

• $z$是隐藏层输出的feature vector

output layer只是对hidden layers的输出利用softmax函数作归一化处理，突出极大值。hidden layers部分，可以看做feature extractor(特征提取器)，代替了我们之前手动做feature engineering，feature transformation，经过这个feature extractor得到的$x_1,x_2,...,x_k$就可以被当作一组新的feature vector，经过feature extractor转换后会得出比较好的feature，这个feature可以更容易将数据区分开。

output layer部分，它是一个softmax层，可以看做Multi-class classifier(多分类器)，它是拿经过feature extractor转换后的feature进行分类的。

---

三步骤

Step 1：Network Structure

对于分类个体，其输入的feature vector的维数确定，input layer的维数与其相同，而output layer的维数则与类别数量相同，但hidden layer的结构未知，而设计这个network structure是最为关键的部分。

Step 2：Goodness of Network

Multi-class classification问题中，常采用cross entropy，判断分类的好坏
$$l(y,\hat{y})=-\sum _{i=1}^n{\hat{y}}_{i}ln{y}_i$$

• $y$： 目标分类结果
• $\hat{y}$：预测分类结果
• $n$：表示分类类别数

我们把training data里任意一个样本点$x^n$送到neural network里面，输出一个预测标签$y^n$，我们把这个output跟样本点本身的label标注的target ${\hat{y}}^n$作cross entropy，这个交叉熵定义了output $y^n$和target ${\hat{y}}^n$之间的距离$l^n(\theta )$，如果cross entropy比较大的话，说明output和target之间距离很远，这个network的parameter预测该样本的loss是比较大的。

Step 3：Backpropagation

接下来就是调整参数，让这个cross entropy越小越好，需要把一般部分data的cross entropy都sum起来，得到一个total loss $L=\sum _{n=1}^N{l}^n$，得到total loss之后通过Backpropagation的方法对网络中的所有参数（$w$和$b$）进行更新，最终是total loss达到最低值。