TensorFlow - 神经网络

TensorFlow - 神经网络

flyfish

TensorFlow的图

Andrew Ng的介绍

神经网络是在模仿大脑中的神经元或者神经网络。

神经元是一个计算单元，它从输入神经接受一定数目的信息并做一些计算然后将结果通过它的轴突传送到其他节点或者大脑中的其他神经元。

一是神经元有细胞主体，
二是神经元有一定数量的输入神经，这些输入神经叫做树突。

可以把它们想象成输入电线，它们接收来自其他神经元的信息，神经元的输出神经叫做轴突。

这些输出神经是用来给其他神经元传递信号或者传送信息的。

原文

Neural networks were developed as simulating neurons or networks of
neurons in the brain。 The neuron has a cell body, like so, and
moreover, the neuron has a number of input wires, and these are called
the dendrites. You think of them as input wires, and these receive
inputs from other locations. And a neuron also has an output wire
called an Axon, and this output wire is what it uses to send signals
to other neurons, so to send messages to other neurons.

使用圆圈来表示神经网络的输入，标上+1的圆圈被称为偏置节点，也就是截距项。
有的地方是 x_0=1代表截距 。有的地方使用单独的参数 b 来表示截距。

神经网络最左边的一层叫做输入层，最右的一层叫做输出。中间所有节点组成的一层叫做隐藏层，

神经网络也可以有多个输出单元。

前馈神经网络

$$n_l 层的神经网络，第 1 层是输入层，第 n_l 层是输出层，中间的每个层 l 与层 l+1 紧密相联。这种模式下，要计算神经网络的输出结果，我们可以按照之前描述的等式，按部就班，进行前向传播（forward propagation ），逐一计算第 L_2 层的所有激活值，然后是第 L_3 层的激活值，以此类推，直到第 L_{n_l} 层。$$

摘自《TensorFlow for Machine Intelligence》

线性回归模型和对数几率回归模型本质上都是单个神经元，它具有以下功能：
·计算输入特征的加权和。可将偏置视为每个样本中输入特征为1的权重，称之为计算特征的线性组合。
·然后运用一个激活函数（或传递函数）并计算输出。对于线性回归的例子，传递函数为恒等式（即保持值不变），而对数几率回归将sigmoid函数作为传递函数。

，在输入层和输出层之间增加了一个隐含层（hidden layer），可这样来认识这个新层：它使得网络可以对输入数据提出更多的问题，隐含层中的每个神经元对应一

个问题，并依据这些问题的回答最终决定输出的结果。
添加隐含层的作用相当于在数据分布图中允许神经网络绘制一条以上的分隔线。