神经网络（二）—— 神经元、Logistic回归模型

本系列为慕课网《深度学习之神经网络(CNN/RNN/GAN)算法原理+实战》视频笔记，希望自己能通过分享笔记的形式更好的掌握该部分内容。
往期回顾：
神经网络（一）—— 机器学习、深度学习简介

神经网络

• 神经元：神经网络的最小结构
• Logistic回归模型：在深度学习出现之前最赚钱的算法
• 神经网络训练：调参使得神经网络表现好

神经元——最小的神经网络

上图为神经元的基本结构图。可以看到，神经元有多个输入，一个输出。将输入进行加权求和，通过一个函数$h$得到最后的输出。具体的公式如下：
$$h_{W,b}(x)=f(W^{T}x)=f({\Sigma }_{i=1}^3{W}_i{x}_i+b)$$
其中，$W$是权重，$f$是激活函数，$x$是特征，$b$是偏置（可类比截距）。

Example:

$X=[3,1,2]$，$W=[0.4,0.6,0.5]$，$H(a)=a/10$
then $W\ast X=3\ast 0.4+1\ast 0.6+2\ast 0.5=2.8$ and $H(W\ast X)=H(2.8)=0.28$.

Logistic回归模型

将神经元的激活函数设为sigmoid函数，则这个神经元就是一个二分类Logistic回归模型。
sigmoid函数表达式：
$$f(x)=\frac{1}{1+e^{-x}}$$

我们可以看到，sigmoid函数有几个性质：（1）sigmoid函数的取之范围在0-1之间；（2）sigmoid函数是一个对称函数，对称点在$(0,0.5)$；（3）在$[-6,6]$之间曲线比较陡。
而概率也是在0-1之间。所以我们可以定义，在二分类的情况下，
$$P(Y=0|x)=h_w(x)=\frac{1}{1+e^{-w^{T}x}}$$
$$P(Y=0|x)=1-h_w(x)=\frac{e^{-w^{T}x}}{1+e^{-w^{T}x}}$$