更深入地认识逻辑回归&神经网络

一、逻辑回归

• 逻辑回归的运算过程：01-wx+b;02-sigmoid函数

• 逻辑回归没有分布假设

• 逻辑回归的损失函数是cross entrypy，衡量两个分布的差异有多大。
  

• 逻辑回归可用于二分类或多分类问题，区别在于激活函数。二分类问题，其激活函数是sigmoid函数（多分类问题的激活函数用softmax函数）。
  softmax函数：
  

二、逻辑回归与deep learning的联系

• 逻辑回归的缺点：只能线性分类
  

• 解决只能线性分类的方法——特征提取：连续做多次逻辑回归，相当于多个NN神经网络（非线性转化），也就是连续多次wx+b后取sigmoid函数。所以神经网络的本质就是多层复合的函数。
  

三、deep learning

（一）结构

注：全连接指的是，每个输入都与每个输出相连

• deep=很多个hidden layer，相当于特征提取，替代了传统机器学习中的特征工程，所以deep learning中的重要工作是design neuron structure
• 遵循以上逻辑，deeping learning适合没有那么容易提取特征的工程，如语音识别、影像处理。
• 在设计网络结构的时候，可以不要全连接，可以乱序连接。

（二）前向传播与后向传播

前向传播就是一层一层往前走，后向传播是利用求导的链式结构，来更新权重。最终还是要前向走的。