- 博客(12)
- 资源 (14)
- 收藏
- 关注
RSS订阅转载 TextCNN
论文来源：“Convolutional Neural Networks for Sentence Classification”为了更好理解，以下图举例，实际参数值参考论文图中第一层输入为7*5的词向量矩阵，其中词向量维度为5，句子长度为7，然后第二层使用了3组宽度分别为2、3、4的卷积核，图中每种宽度的卷积核使用了两个。其中每个卷积核在整个句子长度上滑动，得到n个激活值，图中卷积核滑...
2019-03-22 21:21:56
795
原创 fastText
发明者:Mikolov在facebook AI实验室于2016提出了fastText模型。论文标题:Bag of Tricks for Efficient Text Classification模型结构：类似于word2vec中Cbow模型的结构，Cbow是根据contexts预测目标词，而fasttext是根据contexts预测label。 优点：快，切能和其他模型有差...
2019-03-22 20:37:48
321
转载 tensorflow-优化器的选择
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/junchengberry/article/details/81102058在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow 中的优化器，https://www.tensorflow.org/api_guides/pytho...
2019-03-22 13:30:32
419
原创 权重初始化
1.权重初始化的常见方式（1）[-y,y]范围的均匀分布（2）初始化为高斯分布（外加截断的高斯分布等）：（3）xavier尝试问题：使得每一层输出的方差应该尽量相等（4）MSRA尝试问题：随着网络加深，上述方法收敛越来越难2.权重初始化的目的（1）加快收敛（2）打乱对称性，增强学习效果...
2019-03-22 13:12:31
484
原创 2019-3-14深夜
东风不来,三月的柳絮不飞你的心如小小的寂寞的城恰若青石的街道向晚跫音不响,三月的春帷不揭你的心是小小的窗扉紧掩我达达的马蹄声是美丽的错误我不是归人,是个过客...
2019-03-14 23:29:32
425
原创 激活函数对比分析
1.激活函数的作用提供网络的非线性建模能力2.激活函数中的常见概念饱和当一个激活函数h(x)满足 limn→+∞h′(x)=0limn→+∞h′(x)=0 时，我们称之为右饱和。当一个激活函数h(x)满足 limn→−∞h′(x)=0limn→−∞h′(x)=0 时，我们称之为左饱和。当一个激活函数，既满足左饱和又满足又饱和时，我们称之为饱和。硬饱和与软饱和对任意的...
2019-03-11 12:54:03
1220
转载 nlp-位置编码解析
看到这里，是否记得前面提及Vaswani推出的Transformer结构，那么如果不使用RNN结构，是怎样表示位置信息的呢？在提信息位置技术前，先简介以下RNN和CNN。RNN的序列结构不适合大规模并行训练。因为大家都知道，RNN对于序列问题有天然优势，然而这种优势却注定RNN的每一时刻的状态输入都需要等待上一个时刻状态输出完成。而对于CNN，这里是指经典版CNN的问题。卷积层实则上就是一个特征提...
2019-03-09 18:24:02
13715
3
转载 两行代码玩转 Google BERT 句向量词向量
转载地址https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/84351397关于作者：肖涵博士，bert-as-service 作者。现为腾讯 AI Lab 高级科学家、德中人工智能协会主席。肖涵的 Fashion-MNIST 数据集已成为机器学习基准集，在 Github 上超过 4.4K 星，一年来其学术引用数超过 300 ...
2019-03-08 15:17:05
2118
转载 【译】深度双向Transformer预训练【BERT第一作者分享】
【译】深度双向Transformer预训练【BERT第一作者分享】目录NLP中的预训练 语境表示 语境表示相关研究 存在的问题 BERT的解决方案 任务一：Masked LM 任务二：预测下一句 BERT 输入表示 模型结构——Transformer编码器 Transformer vs. LSTM 模型细节 在不同任务上进行微调 ...
2019-03-07 09:40:41
936
转载 BERT：用于语义理解的深度双向预训练转换器（Transformer）
鉴于最近BERT在人工智能领域特别火，但相关中文资料却很少，因此将BERT论文理论部分（1-3节）翻译成中文以方便大家后续研究。· 摘要 本文主要介绍一个名为BERT的模型。与现有语言模型不同的是，BERT旨在通过调节所有层中的上下文来进行深度双向的预训练。因此，预训练的BERT表示可以通过另外的输出层进行调整，以创建用于广泛任务的状态模型，例如问题转换和语言参考，而无需实质的任...
2019-03-07 09:30:38
3748
转载 归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）
1 概念 归一化：１）把数据变成(０，１)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 标准化：在机器学习中，我们可能要处理不同种类的资料，例如，音讯和图片上的像素...
2019-03-05 11:21:43
1612
原创 数据归一化读书笔记
1.数据归一化的直观感受直观来看，就是将数据按比例缩放，使之落入一个小的特定区间（0,1）或者（-1,1），目的是后续处理数据方便。2.数据归一化的作用（1）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。（2）在使用梯度下降的方法求解最优化问题时， 归一化/标准化后可以加快梯度下降的求解速度，即提升模型的收敛速度。3.数据归一化的理解归一化...
2019-03-05 11:21:08
261
1
小五整理-机器学习第一讲-课件和笔记（包含统计学习方法pdf）
2018-06-08
深度探索c++对象模型
2017-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人