前面, 我们介绍了DNN及其参数求解的方法(BP算法),我们知道了DNN仍然存在很多的问题,其中最主要的就是BP求解可能造成的梯度消失和梯度爆炸的问题.那么,人们又是怎么解决这个问题的呢?本节的卷积神经网络(Convolutional Neural Networks, CNN)就是一种解决方法.
我们知道神经网络主要有三个部分组成, 分别为:
① 网络结构--- 描述神经元的层次与连接神经元的结构.
② 激活函数(激励函数)--- 用于加入非线性的因素, 解决线性模型所不能解决的问题.
③ 参数学习方法的选择(一般为权重值W和偏置项b)---如BP算法等.
我们将主要从这几个方面进行讲述.
一 CNN的应用领域
CNN在以下几个领域均有不同程度的应用:
① 图像处理领域(最主要运用领域)--- 图像识别和物体识别,图像标注,图像主题生成,图像内容生成,物体标注等。
② 视频处理领域--- 视频分类,视频标准,视频预测等
③ 自然语言处理(NLP)领域--- 对话生成,文本生成,机器翻译等
④ 其它方面--- 机器人控制,游戏,参数控制等
二 CNN的网络结构
2.1 从传统神经网络到CNN
图2.1 传统的神经网络的结构
图2.2 CNN的网络结构
如图2.1为传统