自学机器学习-神经网络的理解

机器学习自学-初识神经网络

0.基本概念

循环神经网络（Recurrent Neural Network，RNN）：是神经网络的一种，RNN对具有序列特性的数据非常有效，它能挖掘数据中的时序信息以及语义信息。

• 那么什么是神经网络呢？神经网络的作用又是什么呢？可参考：

https://zhuanlan.zhihu.com/p/65472471
https://baike.baidu.com/item/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/16600562?fr=aladdin

• 神经网络（Neural Network，NN）其实是一种运算模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

• 每个节点代表一种特定的输出函数，称为激励函数、激活函数（activation function）。每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

• 网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

• 神经网络最重要的作用是分类，一般是利用分类器进行分类。分类器的输入是一个数值向量，叫做特征向量。

• 简单神经网络的理解（如两层神经网络）
  浅层神经网络

1.什么是神经网络NN

图片来源：https://zhuanlan.zhihu.com/p/404173054


神经网络的灵感来源：https://zhuanlan.zhihu.com/p/67714635

2.神经网络NN是如何工作的

人类大脑也由不同的神经元层组成，将信号传播到目的地，那么神经网络是如何工作的呢？

（1）输入层
它用来接收数据，这些数据必须通过网络进行分析。此外，输入层内的神经元数量是固定的，因为它必须与需要处理的变量数量相等。
（2）隐藏层
该层设置了激活函数，如sigomid函数。通过使用这个函数，调整必须要传播到下一个神经元的信号强度。
无法在训练过程中看到，所以称为隐藏层。
（3）输出层
在这一层，我们接收神经网络的结果值。该层内的神经元数量相当于数据集中必须分离的类的数量。输出层的每个神经元的输出值就是它所代表的类的概率。

负责输出预测值。

3. Convolutional Neural Networks（CNN）卷积神经网络

CNN结构：图片来源

• 全连接层（Fully Connected Layer）
  作用主要是实现分类。
• 激活函数（Activation Function）参考资料：https://zhuanlan.zhihu.com/p/92412922
  定义：在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
  作用：如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
  分类：
  （1）sigmoid函数
  sigmoid函数又称 Logistic函数，用于隐层神经元输出，取值范围为(0,1)，可以用来做二分类。
  sigmoid函数表达式：
  
  sigmoid函数及其导数图像：来源http://laid.delanover.com/activation-functions-in-deep-learning-sigmoid-relu-lrelu-prelu-rrelu-elu-softmax/
  
  优点：Sigmoid函数的输出在(0,1)之间，输出范围有限，优化稳定，可以用作输出层；连续函数，便于求导；
  缺点：计算复杂度高，因为sigmoid函数是指数形式；sigmoid函数在变量取绝对值非常大的正值或负值时会出现饱和现象。
  （2）ReLU
  整流线性单元（Rectified linear unit，ReLU）是现代神经网络中最常用的激活函数，大多数前馈神经网络默认使用的激活函数。
  公式：
  图像：
  

4.Deep Convolutional Neural Networks（DCNN）

参考资料：https://www.run.ai/guides/deep-learning-for-computer-vision/deep-convolutional-neural-networks
深度学习是一种用于构建人工智能(AI)系统的机器学习技术。它基于人工神经网络(ANN)的思想，设计用于通过多层神经元对大量数据进行复杂分析。

有各种各样的深度神经网络(DNN)。深度卷积神经网络(CNN或DCNN)是最常用于识别图像和视频中的模式的类型。dcnn是从传统的人工神经网络发展而来的，它使用了一种受动物视觉皮层启发的三维神经模式。

深度卷积神经网络主要专注于目标检测、图像分类、推荐系统等应用，有时也用于自然语言处理。

3.1 深度卷积神经网络解释

DCNN使用三维神经网络同时处理图像的红、绿、蓝元素。与传统的前向神经网络相比，这大大减少了处理图像所需的人工神经元的数量。

深度卷积神经网络接收图像作为输入，并使用它们训练分类器。该网络采用一种称为“卷积”的特殊数学运算，而不是矩阵乘法。

那么什么是卷积运算呢？
（百度百科）卷积运算是指从图像的左上角开始，开一个与模板同样大小的活动窗口，窗口图像与模板像元对应起来相乘再相加，并用计算结果代替窗口中心的像元亮度值。然后，活动窗口向右移动一列，并作同样的运算。以此类推，从左到右、从上到下，即可得到一幅新图像。

卷积是一种积分运算，用来求两个曲线重叠区域面积。可以看作加权求和，可以用来消除噪声、特征增强。
这篇博客详细讲解了卷积运算：https://blog.csdn.net/bitcarmanlee/article/details/54729807

卷积网络的体系结构通常由四种类型的层组成:卷积、池化、激活和完全连接（convolution, pooling, activation, and fully connected）。
（1）卷积层
对图像应用卷积滤波器来检测图像的特征。
（2）池化层（采样层）
池化层逐渐减小图像的大小，只保留最重要的信息。例如，对于每组4个像素，具有最大值的像素将被保留(这称为最大池化)，或者只保留平均值(平均池化)。
（3）激活层
卷积映射通过一个非线性激活层，如整流线性单元(ReLu)，它将滤波后图像的负数替换为零。
（4）全连接层
全连接层接收一个包含图像平坦像素的输入向量，这些像素经过卷积和池化层的过滤、校正和减少。

3.2 深度卷积神经网络的类型

（1）R-CNN ： Region-based Convolutional Neural Network
基于区域的卷积神经网络(R-CNN)是一种能够准确提取图像中要识别的目标的网络。然而，它在扫描阶段和区域识别方面非常缓慢。
（2）Fast R-CNN
Fast R-CNN是一个简化的R-CNN架构，它也可以识别图像中感兴趣的区域，但运行速度要快得多。它通过在确定感兴趣的区域之前提取特征来提高性能。
（3）GoogleNet (2014)
GoogleNet，也被称为Inception v1，是一个大型CNN架构。GoogleNet，也被称为Inception v1，是一个大型CNN架构。
（4）VGGNet (2014)
具有16个卷积层的深度卷积神经网络结构。
（5）ResNet (2015)
残余神经网络(ResNet)是一个具有多达152层的CNN。ResNet采用了一种创新的设计，可以在不增加复杂性的情况下运行更多的卷积层。

优点：
具有大量(甚至数千层)层的网络可以很容易地训练，而不增加训练错误率。
ResNets有助于使用标识映射解决消失的梯度问题。

4.Rectified Linear Unit (ReLU) 整流线性单元(ReLU)

在神经网络中，激活函数负责将节点的加权求和输入转换为节点的激活或该输入的输出。

整流线性激活函数(简称ReLU)是一种分段线性函数，如果输入为正则直接输出，否则输出为零。它已经成为许多类型神经网络的默认激活函数，因为使用它的模型更容易训练，通常能获得更好的性能。

def ReLU(x):
if x>0:
return x
else:
return 0