自然语言生成
文章平均质量分 94
中文自然语言生成
今晚打佬虎
一名二手的人工智能表演艺术家!
展开
-
基于Transformer语言模型:GPT-2
Transformer是Google在2017年提出的一种新型模型架构。它以自注意力机制取代传统的RNN和CNN对序列数据的建模,它在机器翻译、语言理解等任务上显示出强大的表示能力,目前已经成为自然语言处理领域的主流框架之一。Transformer的基本结构包含一个编码器(Encoder)和一个解码器(Decoder)。编码器用于编码输入序列,解码器用于根据编码器的输出生成输出序列。它们的结构非常相似,都包含N个相同的层(Layer)。原创 2023-06-02 18:45:00 · 2161 阅读 · 5 评论 -
因果词袋语言模型:Causal BoWLM
causal bag of words language model是指考虑词序信息的词袋模型。它与传统的词袋模型相比,不仅考虑单词的频率信息,还考虑单词之间的顺序关系。原创 2023-06-01 17:01:16 · 617 阅读 · 0 评论 -
基于循环神经网络的语言模型:RNNLM、GRULM
RNNLM首次提出是在《Recurrent neural network based language model》这篇非常重要的神经网络语言模型论文种,发表于2010年。原创 2023-05-31 23:23:44 · 1165 阅读 · 1 评论 -
神经概率语言模型:NPLM
本文主要参考《A Neural Probabilistic Language Model》这是一篇很重要的语言模型论文,发表于2003年。不同上下文长度的生成效果。原创 2023-05-31 10:16:45 · 1219 阅读 · 0 评论 -
统计语言模型:Bi-gram
本文通过使用一小部分的中文语料,训练一个Bigrams模型,然后使用Bigrams模型以自回归的方式生成一段中文文本,纯粹为了学习和娱乐,因为Bigrams为了得到较好的结果一般需要数以亿计的词汇才可以,本文采用的训练数据约有几千条梗文。Bigrams(二元语法模型),是一种简单易实现但实际应用价值有限的统计语言模型,是N-gram的一个特例。与它们构成的二元组合概率相同。的前提下,出现某个字符。即:在给定前一个字符。原创 2023-05-30 18:30:24 · 1884 阅读 · 0 评论 -
NLP:生成图像的中文摘要
训练一个中文的Image Caption模型,Stey by Step原创 2023-03-17 18:41:03 · 1181 阅读 · 0 评论 -
NLP:训练一个中文问答模型Ⅱ
基于Transformer架构中文问答模型。原创 2023-03-14 11:03:43 · 1250 阅读 · 39 评论 -
NLP:训练一个中文问答模型Ⅰ
本文基于经典的NMT架构(Seq2Seq+Attention),训练了一个中文问答模型,把问题到答案之间的映射看作是问题到答案的翻译。基于Tensorflow 2.x实现,分词采用了jieba,在中文词汇粒度上训练模型。原创 2023-03-13 17:09:25 · 3488 阅读 · 22 评论