《神经网络与深度学习》
学习总结笔记
你电吴彦祖
学海无涯苦作舟
展开
-
《神经网络与深度学习》-深度生成模型
深度生成模型1. 概率生成模型1.1 密度估计1.2 生成样本1.3 应用于监督学习2. 变分自编码器2.1 含隐变量的生成模型2.2 推断网络2.2.1 推断网络的目标2.3 生成网络2.4 模型汇总2.5 再参数化2.6 训练3. 生成对抗网络3.1 显式密度模型和隐式密度模型3.2 网络分解3.3 训练3.4 一个生成对抗网络的具体实现:DCGAN3.5 模型分析3.6 改进模型 概率生成模型(Probabilistic Generative Model)简称生成模型,指一系列用于随机生成可观测数原创 2020-08-31 22:02:54 · 1322 阅读 · 0 评论 -
《神经网络与深度学习》-深度信念网络
深度信念网络1. 玻尔兹曼机1.1 生成模型1.2 能量最小化与模拟退火1.3 参数学习2. 受限玻尔兹曼机2.1 生成模型2.2 参数学习2.2.1 对比散度学习算法2.3 受限玻尔兹曼机的类型3. 深度信念网络3.1 生成模型3.2 参数学习3.2.1 逐层预训练3.2.1 精调 对于复杂的数据分布,通常只能观测到有限的局部特征,且含有噪声,如要对这个数据分布进行建模,要挖掘可观测变量之间的依赖关系,以及可观测变量背后隐藏的内部表示 本文介绍可有效学习变量之间复杂依赖关系的概率图模型(深度信念网原创 2020-08-16 15:42:39 · 805 阅读 · 0 评论 -
《神经网络与深度学习》-概率图模型
概率图模型1. 模型的表示1.1 有向图模型1.2 常见的有向图模型1.3 无向图模型1.4 无向图模型的概率分解1.5 常见的无向图模型1.5 有向图和无向图之间的转换2. 学习2.1 不含隐变量的参数估计2.2 含隐变量的参数估计3. 推断3.1 精确推断3.2 近似推断4. 变分推断5. 基于采样法的近似推断5.1 采样法5.2 拒绝采样5.3 重要性采样5.4 马尔科夫链蒙特卡罗方法 1. 模型的表示 1.1 有向图模型 1.2 常见的有向图模型 1.3 无向图模型 1原创 2020-08-14 23:45:10 · 2052 阅读 · 0 评论 -
《神经网络与深度学习》-模型独立的学习方式
模型独立的学习方式1. 集成学习1.1 AdaBoost算法2. 自训练和协同训练2.1 自训练2.2 协同训练3. 多任务学习4. 迁移学习4.1 归纳迁移学习4.2 转导迁移学习5. 终身学习6. 元学习4.1 基于优化器的元学习4.2 模型无关的元学习 本文介绍集成学习、协同学习、自训练、多任务学习、迁移学习、终身学习、小样本学习、元学习等学习方式。这些学习方式不限于具体的模型,不管是前馈神经网络、RNN或其他模型。然而一种学习方式,往往会对具有一定特性的模型效果更佳,如集成学习对方差较大的模型组原创 2020-07-31 21:22:35 · 833 阅读 · 0 评论 -
《神经网络与深度学习》-无监督学习
无监督学习1. 无监督特征学习1.1 主成分分析1.2 稀疏编码1.2.1 训练方法1.2.2 稀疏编码的优点1.3 自编码器1.4 稀疏自编码器1.5 堆叠自编码器1.6 降噪自编码器2. 概率密度估计2.1 参数密度估计2.1.1 正太分布2.1.2 多项分布2.2 非参数密度估计2.2.1 直方图法2.2.2 核方法2.2.3 K近邻方法 无监督学习(Unsupervised Learning,UL)是指从无标签的数据中学习出有用的模式,无监督学习算法一般直接从原始数据中学习,不需要标签。若监督学原创 2020-07-19 17:48:32 · 5467 阅读 · 0 评论 -
《神经网络与深度学习》-注意力机制与外部记忆
注意力机制与外部记忆1. 认知神经学中的注意力2. 注意力机制2.1 注意力机制的变体2.1.1 硬性注意力2.1.2 键值对注意力2.1.3 多头注意力2.1.4 结构化注意力2.1.5 指针网络3. 自注意力模型4. 人脑中的记忆5. 记忆增强神经网络6. 基于神经动力学的联想记忆 前馈网络和循环网络拟合能力很强,但由于优化算法和计算能力的限制,实践中难以达到通用近似的能力。处理复杂任务时,计算机的计算能力仍是限制神经网络发展的瓶颈。 为减少计算复杂度,借鉴生物神经网络的机制,引入了局部连接、权原创 2020-07-11 16:00:02 · 1442 阅读 · 0 评论 -
《神经网络与深度学习》-网络优化和正则化
网络优化与正则化1. 网络优化1.1 网络优化的难点1.1.1 网络结构的多样性1.1.2 高维变量的非凸优化2. 优化算法2.1 小批量梯度下降2.2 批量大小选择2.3 学习率调整2.3.1 学习率衰减2.3.2 学习率预热2.3.3 周期性学习率调整2.3.4 AdaGrad算法2.3.5 RMSprop算法2.3.6 AdaDelta算法2.4 梯度估计修正2.4.1 动量法2.4.2 Nesterov 加速梯度2.4.3 Adam 算法2.4.4 梯度截断2.5 优化算法总结3. 参数初始化3.1原创 2020-07-05 18:04:20 · 870 阅读 · 0 评论 -
《神经网络与深度学习》-循环神经网络
循环神经网络1. 给网络增加记忆能力1.1 延时神经网络1.2 有外部输入的非线性自回归模型1.3 循环神经网络2. 简单循环网络2.1 循环神经网络的计算能力2.1.1 循环神经网络的通用近似定理2.1.2 图灵完备3. 应用到机器学习3.1 序列到类别模式3.2 同步的序列到序列模式3.3 异步的序列到序列模式4. 参数学习4.1 随时间反向传播算法4.2 实时循环学习算法 全前馈神经网络,信息单向传递,网络易学习,但能力被减弱。网络输出只依赖于当前的输入。输入输出维数固定。 循环神经网络,具有原创 2020-06-26 19:17:50 · 565 阅读 · 0 评论 -
《神经网络与深度学习》-卷积神经网络
卷积神经网络1. 卷积1.1 互相关1.2 卷积的变种1.2.1 转置卷积1.2.2 空洞卷积1.3 卷积的数学性质1.3.1 交换性1.3.2 导数2. 卷积神经网络2.1 用卷积代替全连接2.2 卷积层2.3 汇聚层(池化层)2.4 典型的卷积网络结构3 参数学习3.1 误差项的计算4 典型的卷积神经网络4.1 LeNet-54.2 AlexNet4.3 Inception4.4 残差网络利用全连接前馈网络处理图像时的问题:(1)参数太多: 对于输入的1001003的RGB图像,全连接前馈网络,原创 2020-06-19 17:04:21 · 721 阅读 · 0 评论 -
《神经网络与深度学习》-前馈神经网络
原创 2020-06-12 17:57:48 · 245 阅读 · 0 评论