深度学习（1）-CSDN博客

1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。

神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络。

一、神经网络 NN

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数（activationfunction）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。

1.神经元

神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。

神经网络的每个神经元如下：

基本wx + b的形式，其中

、表示输入向量
、为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重
b为偏置bias
g(z) 为激活函数
a 为输出

输入参数好比神经元（节点）接收信，通过一定的权值（相当于刺激神经兴奋的强度）与神经元相连，这一过程有些类似于多元线性回归，但模拟的非线性特征是通过下一步骤体现的，即通过设定一阈值（神经元兴奋极限）来确定神经元的兴奋模式，经输出运算得到输出结果。

经过大量样本进入网络系统学习训练之后，连接输入信号与神经元之间的权值达到稳定并可最大限度地符合已经经过训练的学习样本。网络经过学习以后，一组合适的、稳定的权值连接权被固定下来，将待预测样本作为输入层参数，网络经过向前传播便可以得到输出结果，这就是网络的预测。

2.激活函数

激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式，使神经网络的表示能力更强。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。

常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全连接层，后者relu常见于卷积层。

sigmoid的函数表达式：sigmoid函数的功能是相当于把一个实数压缩至0到1之间。当z是非常大的正数时，g(z)会趋近于1，而z是非常小的负数时，则g(z)会趋近于0。这样一来便可以把激活函数看作一种“分类的概率”。

3.神经网络

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：从左到右依次为输入单元、隐藏单元、输出单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。

输入层和隐藏层都存在一个偏置（bias unit)，一个卷积核就对应一个偏置。层和层之间是全连接的结构，同一层的神经元之间没有连接。

4.神经网络的类型

神经网络有很多种类型，以下是一些常见的神经
网络类型：
1.前馈神经网络(Feedforward NeuralNetworks,FNN)
2.卷积神经网络（Convolutional NeuralNetworks, CNN) ,全卷积网络（FCN）
3.循环神经网络（Recurrent NeuralNetworks, RNN)
4.长短时记忆网络（Long Short-TermMemory Networks, LSTM)
5.自编码器（Autoencoder，AE)
6.生成对抗网络（Generative AdversarialNetworks,GAN)
7.强化学习神经网络（ReinforcementLearning Neural Networks, RLNN)
这里列举的只是一部分，实际上还有很多其他类型的神经网络，每种神经网络都适用于不同的任务和数据类型。

二、卷积神经网络 CNN

在图像分类当中，当我们要识别这张图片是不是鸟时，我们会分几个特征来识别，是否有翅膀，是否有喙，是否有尾巴，这些特征一般只是图片的一小部分，如果用NN来做的话，判断每个特征都会输入整张图片，那样利用率太低了而且参数太多，而对于CNN来说，它会通过卷积层，以及池化层来压缩输入数据的大小，即将数据分割成许多分小数据。
即卷积神经网络不在针对于图片上一个点做处理，而是对一块区域做处理。
从而使得神经网络当中的神经元输入数目减少，即用了较少的参数。

卷积神经网络（Convolutional Neural Networks，简称：CNN）是深度学习当中一个非常重要的神经网络结构。它更多的是用在图像图片处理，视频处理，音频处理以及自然语言处理等等。

卷积神经网络（Convolutional Neural Network,CNN）由卷积层、池化层和全连接层组成。卷积层通过卷积操作提取输入图像中的特征；池化层通过降采样减少数据的维度，提高计算效率；全连接层将前面各层的输出连接起来，最终输出分类结果。在实践中还会使用一些其他的技术，如批标准化（BatchNormalization）和激活函数(Activation Function）等。