tiankong_的博客

最近在阅读 Airbnb 的论文Applying Deep Learning to Airbnb Search。阅读的过程中，我发现作者在谈及特征归一化的必要性时，有如下表述：Feeding values that are outside the usual range of features can cause large gradients to back propagate. Thi...

思路历程：1.利用知识工程建立专家系统进行分类通过添加特定规则做分类任务，费时费力，覆盖的范围和准确率都非常有限。2.人工特征工程+浅层分类模型文本预处理：在文本中提取关键词表示文本中文文本预处理主要包括分词jieba等工具，具体算法参考相关文章去停用词维护停用词表（包括高频的代词连词介词等），特征提取过程中删除停用表中出现的词等文本表示1.词袋模型（...

时间：2019.4.3地点：武汉状态：离职在家今天天气很好，阳光照射到绿叶上，一片兴兴向荣。不谈未来职业规划，不论工作面试准备，抛去这些让人疲惫的东西，突然想回归到纯粹知识的本质之中。问题的开端：复兴的深度学习让人们试图用计算机模拟人类的感知，认知，决策和自我学习能力。计算机能处理的东西只有数字，所以我们第一步是要把现实世界的东西用数字尽可能的描述出来。比如：一张图可以表示成三...

论文来源：“Convolutional Neural Networks for Sentence Classification”为了更好理解，以下图举例，实际参数值参考论文图中第一层输入为7*5的词向量矩阵，其中词向量维度为5，句子长度为7，然后第二层使用了3组宽度分别为2、3、4的卷积核，图中每种宽度的卷积核使用了两个。其中每个卷积核在整个句子长度上滑动，得到n个激活值，图中卷积核滑...

发明者:Mikolov在facebook AI实验室于2016提出了fastText模型。论文标题:Bag of Tricks for Efficient Text Classification模型结构：类似于word2vec中Cbow模型的结构，Cbow是根据contexts预测目标词，而fasttext是根据contexts预测label。 优点：快，切能和其他模型有差...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/junchengberry/article/details/81102058在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow 中的优化器，https://www.tensorflow.org/api_guides/pytho...

1.权重初始化的常见方式（1）[-y,y]范围的均匀分布（2）初始化为高斯分布（外加截断的高斯分布等）：（3）xavier尝试问题：使得每一层输出的方差应该尽量相等（4）MSRA尝试问题：随着网络加深，上述方法收敛越来越难2.权重初始化的目的（1）加快收敛（2）打乱对称性，增强学习效果...

东风不来,三月的柳絮不飞你的心如小小的寂寞的城恰若青石的街道向晚跫音不响,三月的春帷不揭你的心是小小的窗扉紧掩我达达的马蹄声是美丽的错误我不是归人,是个过客...

1.激活函数的作用提供网络的非线性建模能力2.激活函数中的常见概念饱和当一个激活函数h(x)满足 limn→+∞h′(x)=0limn→+∞h′(x)=0 时，我们称之为右饱和。当一个激活函数h(x)满足 limn→−∞h′(x)=0limn→−∞h′(x)=0 时，我们称之为左饱和。当一个激活函数，既满足左饱和又满足又饱和时，我们称之为饱和。硬饱和与软饱和对任意的...

看到这里，是否记得前面提及Vaswani推出的Transformer结构，那么如果不使用RNN结构，是怎样表示位置信息的呢？在提信息位置技术前，先简介以下RNN和CNN。RNN的序列结构不适合大规模并行训练。因为大家都知道，RNN对于序列问题有天然优势，然而这种优势却注定RNN的每一时刻的状态输入都需要等待上一个时刻状态输出完成。而对于CNN，这里是指经典版CNN的问题。卷积层实则上就是一个特征提...

转载地址https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/84351397关于作者：肖涵博士，bert-as-service 作者。现为腾讯 AI Lab 高级科学家、德中人工智能协会主席。肖涵的 Fashion-MNIST 数据集已成为机器学习基准集，在 Github 上超过 4.4K 星，一年来其学术引用数超过 300 ...

【译】深度双向Transformer预训练【BERT第一作者分享】目录NLP中的预训练 语境表示 语境表示相关研究 存在的问题 BERT的解决方案 任务一：Masked LM 任务二：预测下一句 BERT 输入表示 模型结构——Transformer编码器 Transformer vs. LSTM 模型细节 在不同任务上进行微调 ...

 鉴于最近BERT在人工智能领域特别火，但相关中文资料却很少，因此将BERT论文理论部分（1-3节）翻译成中文以方便大家后续研究。· 摘要  本文主要介绍一个名为BERT的模型。与现有语言模型不同的是，BERT旨在通过调节所有层中的上下文来进行深度双向的预训练。因此，预训练的BERT表示可以通过另外的输出层进行调整，以创建用于广泛任务的状态模型，例如问题转换和语言参考，而无需实质的任...

1 概念  归一化：１）把数据变成(０，１)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。  标准化：在机器学习中，我们可能要处理不同种类的资料，例如，音讯和图片上的像素...

1.数据归一化的直观感受直观来看，就是将数据按比例缩放，使之落入一个小的特定区间（0,1）或者（-1,1），目的是后续处理数据方便。2.数据归一化的作用（1）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。（2）在使用梯度下降的方法求解最优化问题时， 归一化/标准化后可以加快梯度下降的求解速度，即提升模型的收敛速度。3.数据归一化的理解归一化...

版权声明：本文为博主 http://blog.csdn.net/churximi 原创文章，未经允许不得转载，谢谢。 https://blog.csdn.net/churximi/article/details/51472300 </div> <div id="content_views" class...

Paper:Linear Algebraic Structure of Word Senses, with Applications to Polysemy源代码词向量编码的相似性相似的单词的词向量编码在欧几里得空间中的分布会彼此相邻：如何表示多义词？比如，tie在游戏比赛的平局；在衣服中的领带；或者表示一种扭曲的动作。实际得到的tie的词向量是tie-1、tie-2、tie-3...

源码地址https://github.com/PrincetonML/SIF1.目的创建句向量2.方法论文地址：第一步，对句子中的每个词向量，乘以一个独特的权值。这个权值是一个常数αα除以αα与该词语频率的和，也就是说高频词的权值会相对下降。求和后得到暂时的句向量。然后计算语料库所有句向量构成的矩阵的第一个主成分uu，让每个句向量减去它在uu上的投影（类似PCA）。...

系列目录（系列更新中） 第二讲 cs224n系列之word2vec & 词向量 word2vec进阶之skim-gram和CBOW模型（Hierarchical Softmax、Negative Sampling） 第三讲 cs224n系列之skip-pram优化 & Global Vector by Manning & 词向量评价 理解Glo...

什么是Word2Vec和Embeddings？  Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。那么它是如何帮助我们做自然语言处理呢？Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。Embedding其实就是一个映射，将单词从原先所属的空间映射到新的...