- 博客(58)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 深度学习（花书）学习笔记——第十七章 蒙特卡罗方法
这个方法最初见到就是alpha go中使用的，后面会有专门介绍alpha go的文章,这里预留一个链接的地方：。。。。。。。。。。随机算法粗略的分为两类：拉斯Vegas 和蒙特卡罗算法，前者代表精确算法，后者代表近似算法。名字的由来大概都是和赌场有关。采样和蒙特卡罗方法这里主要介绍采样的必要性和蒙特卡罗方法的合理性。 重要采样通过在最优条件...
2019-04-04 13:44:43
385
转载 深度学习（花书）学习笔记——第十六章 深度学习中的结构化概率模型
非结构化建模的挑战主要介绍非结构化对内存要求大，速度慢。而结构化相对好很多。主要例子，a影响b ，b影响c，非结构化的处理的话，还需要处理a影响c的情况，结构化不需要。使用图描述模型结构主要分为有向图和无向图，有向图又叫信念网络或贝叶斯网络。就像前面介绍的那样可以减少很多参数，适用于因果关系。无向图又称马尔科夫随机场（MRF）或马尔科夫网络。这里介绍了配...
2019-04-04 13:43:48
182
转载 深度学习（花书）学习笔记——第十五章 表示学习
本章的表示学习主要就是通过无监督训练学习特征的意思。这种没有具体的算法，就是介绍表示学习的应用和大概的分支，至于如何进行表示学习，没有详细介绍。感觉可以直接跳过。。贪心逐层无监督预训练贪心算法在无监督训练中的应用，每层只关心当前，进行训练。无监督指低层训练的网络在训练高层时不会改变。后面就是通过实验证明无监督预训练好。。。迁移学习和领域自适应监督学习...
2019-04-04 13:42:50
330
转载 深度学习（花书）学习笔记——第十四章 自编码器
RBM受限玻尔兹曼机：后面有专门章节介绍。书中这里多次提到，感觉这个书的顺序也很不合理啊，很多这种问题。。。欠完备自编码器编码输出维度小于输入的编码器称为欠完备自编码器，可以得到有效特征。正则自编码器编码输出维度大于等于输入的编码器称为过完备自编码器。可能学不到任何有用信息稀疏自编码器：其中g(h) 是解码器输出，h是编码器输出。即h = f(x)...
2019-04-04 13:42:00
274
转载 深度学习（花书）学习笔记——第十三章 线性因子模型
线性因子模型通常用作其他混合模型的组成模块，用于描述数据生成过程。各种线性因子模型的主要区别在先验概率不一样。概率PCA服从高斯先验。独立成分分析不服从高斯先验。其功能类似em算法。用于分离特征。区别？慢特征分析（SFA）源于慢性原则。稀疏编码可以进行特征选择。PCA就像在一...
2019-04-04 13:41:09
341
转载 深度学习（花书）学习笔记——第十二章 应用
大规模深度学习首先深度学习之所以能够在现在获得大的突破，主要依靠于硬件技术的进步和大数据的发展。卷积神经网络需要的高并发，依赖于GPU的发展不断进步，甚至已经有了很多专用设备，如谷歌TPU，阿里和华为也都有最新针对AI算法的芯片。高并发时可能导致梯度下降出问题，目前多采用异步梯度下降。当模型过大时，通常可以通过模型压缩来减少内存和运算时间。（具体方法这里没提...
2019-04-04 13:39:56
222
转载 深度学习（花书）学习笔记——第十一章 实践方法论
性能度量根据任务需求，需要有不同的性能度量方式，常规度量方式如下：_ 真 假 认为真 true positive(TP) false positive(FP) 认为假 false negative(FN) true negative(TN) 准确率：精确率：召回率：PR曲线：F1分数： 覆盖...
2019-04-04 13:38:57
203
转载 深度学习（花书）学习笔记——第十章 序列建模：循环神经网络
展开计算图就是将循环图展开成展开图而已。循环神经网络 就是如上网络，将某一层不断重复，输出重新作为输入的一部分。双向RNN应用于上下文环境都影响结果的场景，如语音识别，文章翻译等基于编码-解码的序列到序列架构可以将可变长度的输入转变为可变长度的输出。这里也提到了注意力模型。后面了解下自编码网络有没有用到循环神经网络的技术。自编码网络是...
2019-04-04 13:38:05
406
转载 深度学习（花书）学习笔记——第九章 卷积网络
卷积运算内积和外积中的内积被通常认为时卷积，可交换性是因为他经过了翻转。但是神经网络中一般不应用翻转。而是直接使用互相关函数：动机三大特性：稀疏交互、参数共享、等变表示。稀疏交互：核的大小远小于输入。相对于全连接，一个输入项只影响较少神经元，大大减少运算量。参数共享：也叫绑定权重，每个核的权重不变，遍历整个输入。使我们只需要少量参数，等变表示：卷积...
2019-04-04 13:37:10
390
转载 深度学习（花书）学习笔记——第八章 深度模型中的优化
学习和纯优化有什么不同我们期望降低的是期望泛化误差，也叫风险。但是我们平时训练时是以训练误差计算，俗称经验风险最小化。可能导致过拟合。训练方式：当原问题较难运算时，可以计算对等问题，使用代理损失函数。但是提前终止算法使用的是真实的损失函数一般。当训练数据过多时，一般每次训练不使用全部样本，而是选取部分批次来训练，大大降低了训练成本，提高训练速度。但是要注...
2019-04-04 13:35:55
228
转载 深度学习（花书）学习笔记——第七章 深度学习中的正则化
正则化：减少测试误差的策略统称，可能会增加训练误差。参数范数惩罚在目标函数后面添加一项参数惩罚项，参数越多越复杂，则惩罚越大。根据对参数的惩罚方式不一样，分为以下几种：正则化：，也被称为岭（Ridge）回归。书上是上述公式，但是不知道右下角那个2什么意思，好像有问题呀。但实际意义就是权值向量各元素平方和再求平方根。用于防止过拟合。主要用于权重衰减。原...
2019-04-04 13:34:31
385
转载 深度学习（花书）学习笔记——第六章 深度前馈网络
深度前馈网络又称多层感知机、前馈神经网络。即只有从x向y方向的传播，最终输出y。主要包括输入层、隐藏层和输出层。神经网络的模型可以解决非线性问题。计算网络的参数通过反向传播；如果每一层隐藏层都只有wx+b的运算，则多层累加变为w1*(w2*(w3*x))+a = W*x +a,失去了非线性能力。故每一层后面会加上一个激活层。实例：学习XOR单个线性函数无法...
2019-04-04 13:33:02
457
转载 深度学习（花书）学习笔记——第四章 数值计算
上溢和下溢：由于舍入带来的误差，导致参数为0或者无穷大，使得无法运算。这个一般会通过加上一些项使得分母不为0来解决。通常基础库都已经帮我们解决了，自己做的时候要注意。病态条件：输入的轻微变动导致输出的大幅变换。基于梯度的优化方法：目标函数=准则误差函数=代价函数=损失函数梯度下...
2019-04-04 13:29:55
240
转载 深度学习（花书）读书笔记——第五章-机器学习基础
深度学习是机器学习的一个特定分支。我们要想充分理解深度学习,必须对机器学习的基本原理有深刻的理解。5.1 学习算法机器学习算法是一种能够从数据中学习的算法。然而,我们所谓的 ‘学习’ 是什么意思呢?Mitchell (1997) 提供了一个简洁的定义:‘‘对于某类任务 T 和性能度量P ,一...
2019-04-04 10:48:47
461
转载 深度学习（花书）读书笔记——第三章-概率与信息论
第三章 概率与信息论 概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法,也提供了用于导出新的不确定性 声明(statement)的公理。在人工智能领域,概率论主要有两种用途。首先,概率法则告诉我们 AI 系统如何推理,据此我们设计一些算法来计算或者估...
2019-04-04 10:46:50
308
转载 隐马尔科夫模型（Hidden Markov Model，HMM）
隐马尔科夫模型（Hidden Markov Model，HMM） <div class="tags-box space"> <span class="label">所属专栏：&
2019-03-15 18:04:36
3953
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人