神经网络与深度学习(读书笔记)
一本不错的深度学习入门书籍,简单总结一下
Avery123123
计算机研究生机器学习方向毕业,目前从事金融交易云数据方向工作,想总结一下并督促自己向各位大佬学习学习
展开
-
第十章 模型独立的学习方式
第十章 模型独立的学习方式第十章 模型独立的学习方式集成学习AdaBoost 算法自训练和协同训练自训练协同训练多任务学习迁移学习归纳迁移学习转导迁移学习终身学习元学习基于优化器的元学习模型无关的元学习总结和深入阅读第十章 模型独立的学习方式在前面的章节中,我们已经介绍了机器学习的几种学习方式,包括监督学 习、无监督学习等。这些学习方式分别可以由不同的模型和算法实现,比如神经 网络、线性分类器...原创 2020-03-14 18:10:30 · 1014 阅读 · 0 评论 -
第十三章 深度生成模型
第十三章 深度生成模型第十三章 深度生成模型概率生成模型概率密度估计生成样本应用于监督学习变分自编码器含隐变量的生成模型推断网络推断网络的目标生成网络生成网络的目标模型汇总训练生成对抗网络显式密度模型和隐式密度模型网络分解判别网络生成网络训练一个生成对抗网络的具体实现:DCGAN模型分析训练稳定性模型崩塌改进模型W-GAN第十三章 深度生成模型概率生成模型生成模型一般具有两个基本功能:密...原创 2020-01-14 12:20:59 · 518 阅读 · 2 评论 -
第九章 无监督学习
第九章 无监督学习第九章 无监督学习无监督特征学习主成分分析稀疏编码训练方法稀疏编码的优点第九章 无监督学习无监督学习(Unsupervised Learning,UL)是指从无标签的数据中学习出一 些有用的模式。无监督学习算法一般直接从原始数据中学习,不借助于任何人工 给出标签或者反馈等指导信息。如果监督学习是建立输入-输出之间的映射关系, 那么无监督学习就是发现隐藏的数据中的有价值信息,包...原创 2020-03-14 16:18:10 · 1379 阅读 · 0 评论 -
第八章 注意力机制与外部记忆
第八章 注意力机制与外部记忆第八章 注意力机制与外部记忆第八章 注意力机制与外部记忆根据通用近似定理,前馈网络和循环网络都有很强的能力。但由于优化算法 和计算能力的限制,在实践中很难达到通用近似的能力。特别是在处理复杂任务 时,比如需要处理大量的输入信息或者复杂的计算流程时,目前计算机的计算能 力依然是限制神经网络发展的瓶颈。为了减少计算复杂度,通过部分借鉴生物神经网络的一些机制,我们引入 ...原创 2020-03-10 21:40:37 · 2545 阅读 · 0 评论 -
第七章 网络优化与正则化
第七章 网络优化与正则化第七章 网络优化与正则化网络优化网格优化的难点网络结构多样性高维变量的非凸优化优化算法小批量梯度下降批量大小选择学习率调整学习率衰减学习率预热周期性学习率调整AdaGrad 算法RMSprop 算法AdaDelta 算法梯度估计修正参数初始化数据预处理逐层归一化超参数优化网络正则化总结第七章 网络优化与正则化虽然神经网络具有非常强的表达能力,但是当应用神经网络模型到机器...原创 2020-02-07 21:13:22 · 2665 阅读 · 0 评论 -
第六章 循环神经网络
第六章 循环神经网络第六章 循环神经网络给网络增加记忆能力延时神经网络有外部输入的非线性自回归模型循环神经网络简单循环网络循环神经网络的计算能力应用到机器学习序列到类别模式同步的序列到序列模式异步的序列到序列模式参数学习随时间反向传播算法实时循环学习算法长程依赖问题改进方案基于门控的循环神经网络长短期记忆网络LSTM 网络的各种变体门控循环单元网络深层循环神经网络堆叠循环神经网络双向循环神经网络扩...原创 2020-01-28 22:25:29 · 1618 阅读 · 0 评论 -
第四章 前馈神经网络
第四章 前馈神经网络第四章 前馈神经网络神经元Sigmoid 型函数Logistic函数Tanh函数Hard-Logistic 函数和 Hard-Tanh 函数ReLU 函数带泄露的 ReLU带参数的 ReLUELU 函数Softplus 函数Swish 函数高斯误差线性单元Maxout 单元网络结构前馈网络记忆网络图网络前馈神经网络通用近似定理应用到机器学习参数学习反向传播算法使用误差反向传播算...原创 2019-12-03 17:19:35 · 3479 阅读 · 3 评论 -
第五章 卷积神经网络
第五章 卷积神经网络第五章 卷积神经网络卷积一维卷积二维卷积互相关卷积的变种卷积的数学性质交换性导数卷积神经网络用卷积来代替全连接卷积层汇聚层(池化层)典型的卷积网络结构参数学习误差项的计算几种典型的卷积神经网络LeNet-5AlexNetInception 网络残差网络其它卷积方式转置卷积空洞卷积第五章 卷积神经网络卷积神经网络(Convolutional Neural Network,CN...原创 2020-01-13 07:49:37 · 7271 阅读 · 8 评论 -
第三章 线性模型
第三章 线性模型线性模型线性判别函数和决策边界二分类多分类Logistic 回归参数学习Softmax 回归参数学习感知器参数学习感知器的收敛性参数平均感知器扩展到多分类支持向量机参数学习核函数软间隔损失函数对比线性模型线性判别函数和决策边界二分类多分类从上面定义可以得到,如果数据集是多类线性可分的,那么一定存在一个“argmax”方式的线性分类器可以将它们正确分开。...原创 2019-12-03 10:52:08 · 314 阅读 · 0 评论 -
第二章 机器学习概述
第二章 机器学习概述机器学习概述基本概念特征与特征向量标签样本与数据集训练学习算法评价(性能度量)机器学习的基本流程(预测任务)机器学习三要素模型概念线性模型非线性模型学习准则损失函数优化算法机器学习概述基本概念特征与特征向量以芒果为例,每个芒果的特征包括颜色、大小、产地、品牌等通常用特征向量来表示样本的特征,每一维表示一个特征标签标签是我们要预测的,可以是连续值(比如芒果的甜度,水...原创 2019-12-02 09:44:44 · 1598 阅读 · 0 评论