【深度学习】——深度学习中基本的网络结构（1）

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

这一部分开始，是对深度学习的有关内容进行学习，在机器学习中有涉及到部分有关深度学习的内容，如CNN、autoencoder等比较简单的网络模型。这一部分开始，将对深度学习有一个较为系统的学习和了解。

除了基本理论内容外，中间可能穿插一些tensorflow来实现一些东西，也将在这里一并涉及。

---

深度学习中常见的网络结构

0.前言

机器学习中有一个通用的三步走的策略：1.function set 2. cost function 3. find the best model。而在深度学习中同样也是通用的：

第一步：设计一个网络结构，网络结构的参数的不同，组成了一系列的function set，通常深度学习中需要我们自己去设计出网络的结构，然后让其自动学习其中的参数；

第二步：设计损失函数，通常损失函数根据任务不同需要设计不同的损失函数；

第三步：根据损失函数，让机器自己去学习得到所设计网络中的各个参数。

本节主要介绍一些在深度学习中常见的一些网络结构，当然，网络结构是多种多样的，也不可能罗列和学习的完，这里主要一些常见的或者说是主流的一些结构进行介绍，包括：

1. 全连接网络结构

2. Basic RNN

3. RNN中的LSTM

1.全连接网络结构（fully-conneced）

这种网络结构在机器学习中做了初步的介绍，在前面介绍时，都是以“元素化”的形式进行计算，而在深度学习中多以矩阵的形式运算，在此先对结构中的变量进行声明：

首先，对于某一层而言：

ail表示第l层的第i个元素，上标“l”表示第l层隐藏层，下标“i”表示第l层的第i个神经元。那么al则就表示一个向量。

接下来就是全连接中的运算：

从l-1层到第l的运算，第l层的每一个元素都与第l-1层每一个元素有关，因此称之为全连接网络。

而连接ail与ajl-1的边称之为权重wijl，那么整个w就可以写成矩阵的形式，矩阵的行数是第l层的神经元的个数，矩阵的列数则是第l-1层的神经元个数。

同样地，对于参数b，也是一样：

第l-1层的输出al-1经过w和b的转换后，再经过激活函数，可以得到al，在经过激活函数前，变量为z，那么：