深度学习几种典型架构

介绍几种典型的深度学习架构。

卷积神经网络(CNN)

卷积神经网络由LeCun提出。在Kaggle竞赛中取得了巨大成功。

典型的卷积网络有两部分。 第一个是负责特征提取，由一对或多对卷积和子采样/最大池化层组成。 第二部分是经典的全连接多层感知器，将提取的特征作为输入。如下图所示。

卷积神经网络架构

长短期记忆网络（LSTM)

长短期记忆网络是比较流行的一种网络结构。

LSTM架构

长短期记忆网络用两个门来控制单元状态的内容，一个是遗忘门(forget gate)，决定了上一时刻的单元状态有多少能够保留到当前时刻；一个是输入门(input gate)，决定了当前时刻网络的输入有多少保留到单元状态。LSTM使用输出门(output gate)控制单元状态有多少输出到LSTM的当前输出值。

GRU

GRU是 LSTM 的简化版，但在大多数任务中其表现与 LSTM 不相伯仲。

GRU和LSTM对比

相比LSTM， GRU 有更少的参数，因此相对容易训练且过拟合的问题要轻一些，在训练数据较少时可以尝试使用GRU。

更简化的有迷你GRU。

迷你GRU

DB-LSTM

深度双向LSTM

深度双向LSTM

卷积残差记忆网络

卷积残差记忆网络是CNN和LSTM的一种结合。

卷积残差记忆网络架构

Dynamic NTM

Evolvable Neural Turing Machines

Unsupervised Domain Adaptation By Backpropagation

Deeply Recursive CNN For Image Super-Resolution

Recurrent Model Of Visual Attention

MLP with synthetic www.taohuaqing178.com  gradients

Google’s Neural Machine Translation System

headers = {"User-Agent"www.xgLL521.com: "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36", "X-Requested-With": "XMLHttpRequest", "Accept": "*/*"} async def get_source(url): print("正在操作:{}".www.dongfan178.com format(url)) conn = aiohttp.TCPConnector(verify_ssl=False) # 防止ssl报错,其中一种写法 async with aiohttp.ClientSession(connector=conn) as session: # 创建session async with session.get(url, headers=headers, timeout=10) as response: # 获得网络请求 if response.status == 200: # 判断返回的请求码 source = await www.ysyl157.com response.text() # 使用await关键字获取返回结果 print(source) else: print("网页访问失败") if __name__=="__main__": url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists" full_urllist= [url_format.format(i) for i in range(1,21)] event_loop = asyncio.get_event_loop() #创建事件循环 tasks = [get_source(url) for url in full_urllist] results = event_loop.run_until_complete(asyncio.wait(tasks)) #等待任务结束