NLP
NanciZhao
这个作者很懒,什么都没留下…
展开
-
各种网络结构
high-way network(高速网络)Residual Network(残差网络)残差连接textcnn双向的LSTM注意力机制self-attentioncrfbatch normalization原创 2020-09-29 19:48:19 · 356 阅读 · 0 评论 -
知识图谱
引言原创 2020-05-31 18:49:42 · 510 阅读 · 0 评论 -
任务式对话系统
***0.原理1.有哪些知识点2. 有什么开源工具、如何实现原创 2020-05-30 21:19:37 · 802 阅读 · 0 评论 -
NLP复习
一、数据预处理:正则表达式去除标点停用词去去除没有用的词提取词干字母大写转小写按照单词创建词表二、embedding:word2vectf-idfCountVectorizer...三、建模:textCNNtextRNNbi-bistmbi-lstm-attentionfasttext四、模型过拟合了怎么处理1)加入L2正则2)early stoppin...原创 2020-03-27 11:53:05 · 348 阅读 · 0 评论 -
RNN、LSTM、GRU、多层LSTM、Bi-LSTM
有些时候,主要考虑的是哪些输入,有时候,考虑的是(输入,输出)之间的模型;一、RNNf,g 就是普通的激活函数,可能是tanh;二、LSTM 此时,Ht~f(Xt, Ct-1, ht-1)在这里引入了一个新的变量Ct-1,它是什么意思呢?这里的f如何确定呢三、多层RNN/LSTM多层RNN中,第一层的输入是Ht1~ (Xt, Ht-1),后面层的输入不再...原创 2020-03-16 21:35:58 · 6463 阅读 · 0 评论 -
真正有气质的淑女具备6大特点
真正有气质的淑女,从不炫耀她所拥有的一切,她不告诉人她读过多少书,去过什么地方,有多少件衣服,买过什么珠宝,因为她没有自卑感。1.高情商情调高,谈吐方面不易中伤别人,同时也能够很好管理自己的情绪,面对任何问题都能头脑清醒,理性对待,从不无理取闹。与人相处时懂得察言观色,不伤人自尊,外柔内刚,有自己的出事原则,但也不会斤斤计较。2. 独立有主见特别是经济上的独立尤为重要,自己喜欢...原创 2020-02-24 22:40:52 · 3123 阅读 · 0 评论 -
tensorflow调参方法及深度学习调参经验
***原创 2020-02-24 21:16:58 · 2189 阅读 · 0 评论 -
BERT预训练模型
一、模型结构二、模型的与训练方法2.1 完形填空式的预测1)预训练输入2)输出2.2 上下句关系的预测三、模型下游任务进行fine tuning...原创 2020-02-13 22:28:39 · 703 阅读 · 0 评论 -
注意力Attention机制
从池化的视角理解注意力机制:注意力机制是一种对输入(键项和值项)分配偏好(注意力权重)的通用池化方法。通用池化:注意力机制通常是含参数的,但是也可以带来非参数模型非参数回归最大池化 max(vi), 平均池化 sum(1/n*vi)是不带参数的带注意力池化的LSTM层次注意力池化(查询项:q,键项:k,值项:v)...原创 2020-02-11 11:11:41 · 1340 阅读 · 0 评论 -
循环神经网络模型系列总结
一、RNN1.1 模型结构:1.2 多层RNN通过num_layers设置循环神经网络隐含层的层数,例如2。对于一个多层循环神经网络,当前时刻隐含层的输入来自同一时刻输入层(如果有)或上一层隐含层的输出。每一层的隐含状态只沿着同一层传递。把单层循环神经网络中隐含层的每个单元当做一个函数f,这个函数在t时刻的输入是Xt, Ht-1,输出是Ht:Ht = f(Xt, Ht-...原创 2020-02-08 15:59:22 · 1429 阅读 · 0 评论 -
charCNN、textCNN、BI-lstm、textRNN
一、charCNN1. 要解决什么问题2.模型结构与设计思想(为什么这样设计)二、textCNN1. 要解决什么问题2.模型结构与设计思想(为什么这样设计)三、BI-LSTM1. 要解决什么问题2.模型结构与设计思想(为什么这样设计)3. 参考资料https://zhuanlan.zhihu.com/p/47802053...原创 2020-02-07 22:09:10 · 2314 阅读 · 0 评论 -
NLP面试题
1. 手写一个tfidf2. 对HMM,CRF的理解,CRF的损失函数是什么,维特比算法的过程3. word2vec的CBOW与skipgram模型及两种训练方式(负采样\层级softmax),两种训练方式的区别和应用场景;4. word2vec和fasttext的区别,训练word2vec有哪些重要参数;5. LSTM的单元结构图和6个公式要记住;6. 有几种Attentio...原创 2020-02-03 09:57:26 · 355 阅读 · 0 评论 -
LDA与PLSA模型
一、什么是LDA二、什么是PLSA模型三、什么是生成式模型与判别式模型原创 2020-02-02 20:03:41 · 299 阅读 · 0 评论 -
jieba分词原理
采用什么原理如何实现原创 2020-01-28 20:05:25 · 186 阅读 · 0 评论 -
条件随机场CRF
一、是什么问题,背景是什么二、如何解决,解决的思路,原理2.1CRF的特征函数从特征到概率2.2CRF权重学习2.3 公式的含义三、CRF和HMM的关系四、CRF分词和脉络流程...原创 2020-01-28 20:03:07 · 105 阅读 · 0 评论 -
seq2seq模型构建过程 API
encoder步骤:Encoder:input_sequences ----> (RNN) ----> C(Cell State)decoder步骤:Decoder:C + 结合时刻i的target ----> (RNN) ----> 预测时刻i+1的target重点:训练过程decoder部分的输入是target预测过程区别:decoder的输入是上一时刻的输...原创 2020-01-26 21:52:59 · 245 阅读 · 0 评论 -
聊天机器人模型
1. 基于检索技术的模型2. 基于生成式模型3. 混合模式原创 2020-01-19 12:35:20 · 582 阅读 · 0 评论 -
NLP的四大类任务
具体包括:原创 2020-01-19 11:02:49 · 895 阅读 · 0 评论 -
tensorflow API 参数记录
一、x_train处理流程:文本->jieba分词->->去除停用词->learn.preprocessing.VocabularyProcessor(将句子中的词用数字id映射)-->word_embedding;1)cnn模型之前的word_embedding输入处理:word_vectors = tf.contrib.layers.embed_seque...原创 2020-01-16 12:06:45 · 281 阅读 · 0 评论 -
transformer模型
一、模型提出的背景,现有模型的不足原来的RNN模型中,通过输入一个序列,再输出一个序列,序列的输出是有先后顺序的,说明RNN不能被并行化;RNN不能并行,CNN可以,但是CNN不能捕捉长句子的上下文,于是有了self-attention。二、模型改进的核心点在哪里transformer与bi-rnn有同样的能力,每一个输出都看过整个输入序列但是,输出的序列是同时计算的;关键...原创 2020-01-13 16:30:21 · 654 阅读 · 0 评论 -
马尔科夫模型
一、马尔科夫模型处理的是什么问题,什么思路来解决二、隐马尔科夫模型三、隐马尔科夫链三大问题1)Recognition(识别问题,也叫做序列问题):知道骰子有几种(隐含状态数量),每种骰子是什么(转换概率),根据掷骰子出的结果(可见状态链),我想知道每次掷出来的都是哪种骰子(隐含状态链)2)Evaluation(验证问题,或者评估问题):还是知道骰子有几种(隐含...原创 2019-12-30 14:10:03 · 819 阅读 · 0 评论 -
一条typical的文本预处理流程
raw_text ----> Tokenize(分词) ---> Lemma/Stemming -----> stopwords -----> word_list原创 2019-12-29 10:13:35 · 127 阅读 · 0 评论 -
stopwords
停用词对于语义分析没有用处,要去除,例如the,a...原创 2019-12-29 10:11:58 · 976 阅读 · 0 评论 -
词性标注
同一个词,是否需要变换为stemming例如 went,是go的过去式v.,还是温特n.根据词性,可以决定是否需要把wentstemming为go原创 2019-12-29 10:11:13 · 80 阅读 · 0 评论 -
词性归一化stemming
NLP预处理原创 2019-12-29 10:09:38 · 475 阅读 · 0 评论 -
LDA主题模型
一、要解决什么问题拿到一片文章,要确定该文章的主题(比如:科技、运动、娱乐)二、该算法的思路2.1 直观版2.2 标准版2.3 公式版三、简介一种无监督的贝叶斯模型,可以将文档集中每篇文档的主题按照概率分布的形式给出。在训练时不需要手工标注的训练集,需要的仅仅是文档集以及指定主题的数量k即可。LDA的另一个优点是,对于每一个主题均可以找出一些词语来描述它。...原创 2019-12-27 12:59:47 · 124 阅读 · 0 评论 -
模型生成
1).LDA (主题生成模型,Latent Dirichlet Allocation) 2).最大熵模型(其实是个多分类模型,归这里不一定合适)原创 2019-12-26 18:31:38 · 147 阅读 · 0 评论 -
关键词提取算法
一、tf-idf二、bm25三、pagerank3.1 解决什么问题是Google的网页排序算法,它是给每个网页附加权值的。一个网页的PR值,概率上理解就是网页被访问的概率,PR值越高其排名越高。3.2算法原理对每个目标网页进行附上权值,权值大的就靠前显示,权值小的就靠后显示。该算法借鉴学术界论文重要性的评估方法:谁被引用的次数多,谁就越重要。核心思想:(1)如果...原创 2019-12-26 18:29:38 · 757 阅读 · 0 评论 -
CBOW
一、解决什么问题二、思想和模型三、优缺点原创 2019-12-18 12:01:12 · 370 阅读 · 0 评论 -
Word embedding(文本向量化)技术与路线
0. CountVecorizer是属于常见的特征数值计算类,是一个文本特征提取方法。对于每一个训练文本,它只考虑每种词汇在该训练文本中出现的频率。CountVectorizer会将文本中的词语转换为词频矩阵,它通过fit_transform函数计算各个词语出现的次数。CountVectorizer(input='content', encoding='utf-8', decod...原创 2019-12-18 11:10:43 · 1134 阅读 · 0 评论