6-Neural Networks--Representation

1 - Non-linear Hypotheses

示例：图像分类

问题：

• 参与决策的features非常多
• 对于一个 50x50 pixel的图片，有2500个像素点，用RGB来表示是7500个取值。仅仅用二次方程来表示就有多达3million个features。

2 - Neurons and the Brain 神经元与大脑

神经网络：

• 起源模拟大脑的算法，在90s~90s广泛使用，到90年代末逐渐使用的人较少。
• 近年的兴起：State-of-the-art(技术发展水平) technique for many applications.

one learning algorithm hypothesis：
切断大脑中的听觉皮质与人耳的联系，将其与眼睛连接起来，会发现这些神经元会开始学习如何去看东西。类似的，切断大脑中的肢体运动皮质与四肢的联系，将其与眼睛连接起来，会发现它们也会学习看东西。

3 - Model Representation

3.1 神经元：

• Dendrite 树突（输入）
• Nucleus 核
• Axon 轴突（输出）

3.2 逻辑模型：

• bias unit:在输入之中加入的常量
• activation function：激励函数(数据处理)
• weights：每个输入的权重

3.3 神经网络：

• input layer 输入层
• hidden layer 隐藏层
• output layer 输出层

3.4 模型解释

对于如图所示的神经网络，定义：
- 第 j 层中的第i个节点的值
- 从第 j 层到 j+1 层的权重矩阵。例如，代表从第一层的x3元素到第二层的第2个节点的权重。事实上，如果第 j 层有 m 个元素，第 j+1 层有 n 个元素，那么是一个 n * (m+1) 维的矩阵。

于是神经网络描述如下：

3.5 前向传播的向量化实现

可见，

• $h_\theta(x)=a^{(3)}=g(z^{(3)})$
• $z^{(3)}=\theta^{(2)}a^{(2)}$
• $a^{(2)}=g(z^{(2)})$
• $z^{(2)}=\theta^{(1)}x$

3.6 Neural Network learning its own features 学习自己的特征

在前向传播的过程中，神经网络不仅学习输入的数据，也会将自己本身的特征吸收进去。

3.7 其他网络

4 - Examples and Intuitions 用神经网络实现简单的逻辑函数

• AND：
  

• OR：
  

• NOT：
  

• XNOR：
  

5 - Multiclass Classification 多值分类

• One-vs-all：
  将四类图片识别出来：pedestrian、car、Motorcycle、Truck
  
  注意我们的输出，此时我们不是以 y =1,2,3,4来区分类别，而是以如下方式：

$$\begin{aligned} Want\; &h_\theta(x)\approx \begin{bmatrix} 1\\0\\0\\0\end{bmatrix} ,h_\theta(x)\approx \begin{bmatrix} 0\\1\\0\\0\end{bmatrix}, h_\theta(x)\approx \begin{bmatrix} 0\\0\\1\\0\end{bmatrix},etc.\\ &when\;pedestrian \quad when\;car \quad when\;motocycle \end{aligned}$$