深度学习初步认识

目录

前言

一、什么是深度学习？

1.实现深度学习的方法（神经网络）

2.两种神经网络CNN与RNN的发展

二、什么是入侵检测

三、今后的学习安排

 

---

前言

本文对应时间为2020.09.25-2020.10.25。

本文内容为对本人这一个月所学习的内容做一个梳理，相当于做一个复习。

本篇文章相当于一个概述，具体知识细节今后会补充（实际上有些细节感觉目前理解的还不完全，等理解完全了动笔写）。

目前暂定研究方向为深度学习与网络入侵检测相结合。

---

 

一、什么是深度学习？

深度学习属于机器学习，机器学习又属于人工智能。

关系图如下所示：

三者的关系

 实际上通过这一个月的学习发现，之前研究过的一些课题（数据挖掘->频繁项集的发现->聚类）实际上也是属于人工智能的范畴，比如说聚类就是一种典型的无监督学习方法。

1.实现深度学习的方法（神经网络）

深度神经网络是目前实现深度学习的最好的方法。

卷积神经网络CNN与循环神经网络RNN是目前使用最多的两种神经网络。

CNN可以分析位置信息，在图像识别当中应用较多。

RNN可以分析上下文信息，在NLP当中应用较多。

神经网络基本组成部分：神经元，激活函数，反向传播算法。

2.两种神经网络CNN与RNN的发展

CNN结构演化图

 

可以看出，发展特点是网络不断加深，ResNet达到了惊人的152层，并且首次识别正确率超过人类。

CNN不断加深带来的问题是梯度消失，ResNet解决梯度消失的举措是残差模块（计算差值，使得差值尽量接近0），把连乘运算改为加法运算。

RNN的发展历史也是不断加深层数，同样会带来梯度消失，RNN可以实现短时记忆，梯度消散造成的结果就是没法有长时记忆。

为了解决这个问题，有了LSTM网络，LSTM模块中有三个Sigmoid 和一个tanh层，并以一种非常特殊的方式进行交互。这种特殊的交互形成了三个门：遗忘门，输入门，输出门（forget，input，ouput）

补充说明一点：循环神经网络的结构天生不适合大规模的并行运算，所以训练速度会比较慢，而卷积神经网络适合大规模的并行运算，因此利用GPU会获得极好的效果。

 

二、什么是入侵检测

入侵检测的研究方向很多，如下图所示，目前我比较关心的是网络入侵检测。

 

网络入侵检测系统（Network Intrusion Detection Systems=NIDS）通过通过检查每个网络数据包来监视整个网络的可疑流量。网络流量属于流数据，大量的网络流量等同于大数据，具有高容量、高速度、多样性的特点。

对于网络入侵检测可以研究的点有如下想法：

1. 网络数据具有时间相关性，可以结合RNN做一些工作。

2. 如果可以吧网络数据转化为图像数据，可以结合CNN做一些工作，但目前没看到相关资料。

3. 网络数据可以形成日志，日志可以看做文本信息，感觉可以结合目前NLP的主流技术来做一些工作。

 

---

三、今后的学习安排

继续学习深度神经网络，感觉深度神经网络是一个基础模块，可以结合不同的技术满足不同的应用场景。

目前准备细看邱锡鹏教授的《神经网络与深度学习》。

今后也会保持博客更新，希望能看到自己的进步。

---