文本分析
xxzhix
这个作者很懒,什么都没留下…
展开
-
batch normalization and batch size
batch normalization的原理解释可以看https://www.cnblogs.com/guoyaohua/p/8724433.html 我觉得写得挺清晰的实验结果:batch_size的大小会影响batch normalization的效果。当batch_size过大的时候,会使得模型效果不稳定(我做的实验是模型偏向于预测为某一个类别)。实验:模型:DPCNN,在...原创 2019-12-04 21:26:01 · 1030 阅读 · 0 评论 -
word2vec
1. 两种word2vec模型的结构之前的神经网络语言模型结构Neural Probabilistic Language Model (NNLM)为什么采用新的结构,不使用NNLM的结构?在NNLM的结构中,有隐藏层,就是上图中tanh那层,则当单词的窗口长度为n,映射得到的词向量C的维度为D, 隐藏层的维度为H时,从映射层(projection)到隐藏层(hidden lay...原创 2019-06-29 16:14:52 · 824 阅读 · 0 评论 -
A Hybrid CNN-RNN Alignment Model for Phrase-Aware Sentence Classification
记录一下这篇论文。网络结构如下:有3个阶段:第一个阶段是使用CNN生成短语向量,第二个阶段结合短语向量和词向量,并使用软对齐的RNN来生成考虑词顺序的句向量,第三个阶段使用句向量来做类别预测。1. CNN句向量是句子中第i个单词对应的k维的词向量,长度为N的句子可以看作列方向上的词向量的拼接。使用一系列卷积核来学习不同长度的短语表示。表示第i步的短语向量,包含了所有...翻译 2019-06-17 22:54:54 · 431 阅读 · 0 评论 -
为什么说BERT是bidirectional
BERT是一个deep bidirectional Transformer。Transformer可参考 https://baijiahao.baidu.com/s?id=1622064575970777188&wfr=spider&for=pc 非常详细易懂Transformer是一个encoder-decoder框架。编码器的结构:其中...原创 2019-04-19 20:55:19 · 1108 阅读 · 0 评论 -
TextCNN是否忽略了词的顺序?
想请教个问题:TextCNN在convolution操作后会有max pooling的操作,如果把不同的convolution操作看作是提取不同的特征,所有的convolution都是对整个句子进行的,那max pooling之后是不是就完全失去了句子的顺序?希望有人指点一二,感恩...原创 2019-04-22 17:55:55 · 406 阅读 · 13 评论 -
如何理解word2vec中的NCE
以下是自己的一些想法和提问,不一定正确,还望大家指正,感恩!word2vec为什么使用NCE?使用NCE来替代softmax, 是因为softmax在类别很多很多的时候计算量大(计算每个类的得分的时候都需要对所有类求和来做分母),word2vec最后需要输出词表大小的类别,数量很大。NCE相当于将多类别分类变成多个二类分类,正类是输入词的上下文中的某个词,负类是不属于上下文的某些词。什...原创 2019-04-17 20:59:47 · 1465 阅读 · 0 评论 -
命名实体识别(biLSTM+crf)
本文是翻译的github这个项目的博客https://guillaumegenthial.github.io/sequence-tagging-with-tensorflow.html。为什么要用biLSTM?为了使特征提取自动化。当使用CRF++工具来进行命名实体识别时,需要自定义模板(或者使用默认的模板)。任务和数据任务是进行命名实体识别(named entity recognit...翻译 2018-08-31 09:17:26 · 26025 阅读 · 5 评论 -
rasa 中文聊天机器人
环境:ubuntu 16.04主要是运行github项目https://github.com/zqhZY/_rasa_chatbot ,用来回答一些手机通信业务,项目里面有训练集。如有问题,期待大家指正,非常感谢!1.Rasa介绍rasa是开源的工具,包括rasa core和rasa nlu。官网:https://rasa.com/rasa nlu主要用于用户意图识别和实体识别...原创 2018-08-31 08:52:38 · 15514 阅读 · 9 评论 -
K-Competitive Autoencoder for Text
对论文https://arxiv.org/pdf/1705.02033.pdf中的模型部分进行记录尽管自编码器的目标是最小化reconstruction error,我们的目标是从数据中提取出有意义的特征。相比于图片数据,文本数据对自编码器更有挑战,因为文本数据高维,离散,幂律词分布。当检验用自编码器提取的特征时,发现这些特征并不是不同的。是因为在隐藏层的很多神经元分享输入神经元的相似组(往往是出...翻译 2018-07-10 20:36:27 · 843 阅读 · 0 评论