机器学习——神经网络（neural networks）

1.认识神经网络

激活，指的是神经元向其下游的其他神经元发送高输出值或许多电脉冲的程度，影响因素是激活项。

输入四个数字，然后神经网络的这一层使用这四个数字来计算新的数字（3个），这些新的数字也被称为激活值。

多层的神经网络被称为多层感知器

2.神经网络在计算机视觉中的应用

【在第一个隐藏层中】

第一个神经元在寻找像第一个像素里这样的垂直线边缘。
第二个神经元在寻找一条像这样的有方向的线或有方向的边。

第三个神经元在这个方向上寻找一条线
神经网络的最初几层，神经元在图像中寻找非常短的线条或非常短的边缘

【在第二个隐藏层中】

这些神经元聚在了一起形成很多短小的线条和短小的边缘段，好寻找脸的一部分

【在第三个隐藏层中】

神经网络将人脸的不同部分聚合在一起，检测图像中是否存在粗粒度更大的面部轮廓，最后检测这张脸与不同面部轮廓的符合程度，创建出一组丰富的特征，然后帮助输出层确定人物图片的身份。
神经网络的一个显著特点是，你可以自己学习这些不同隐藏层的特征检测器

第一个隐藏层的神经元用相对较小的窗口来寻找这些边缘，第二个隐藏层是用大点的窗口(在图像的搜寻范围更大)，第三个隐藏层用的窗口还要更大，这些经过可视化后的小神经元，实际上对应于图像中不同大小的区域。

3.一层神经元

这四个数字分别输入到三个神经元中，这三个神经元中的每个都在执行个小小的逻辑回归单元
第一个神经元的激活值a1，这是三个数构成的向量变成了激活值a的向量，然后传递给该神经网络的最终输出层。

[1]表示层的索引，输出的是激活向量作为第二层的输入，第2层的输入是第1层的输出

【神经网络的工作原理】每一层输入一个数字向量，应用一堆逻辑回归单元，然后计算另一个向量，然后一层接着一层。

4.更复杂的神经网络

使用传统的网络计算层数的方法，不算输入层，共四层

函数g(w,b)是激活函数，激活函数就是能够输出这些激活值的函数

5.前向传播

计算a1

25个神经元25个单元，15个神经元15个单元

计算a2

计算a3 

因为要传播神经元的激活值，所以从左到右的过程称为前向传播forward propagation

6.基于TensorFlow的推理模型

将x设为含有两个数据的二维数组，输入是200摄氏度和17分钟
第一层得到一个包含三个数字的列表，因为第一层有三个单元

【手写数字分类问题】