![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
dayday学习
学习刷题,天天向上
展开
-
用python生成词云wordcloud
代码如下:import wordcloudimport jiebaexcludes={“将军”,“却说”,“二人”,“不可”,“荆州”,“不能”,“如此”,“商议”,“如何”,“主公”,“军士”,“左右”,“军马”,“次日”,“大喜”,“引兵”,“天下”,“东吴”,“于是”,“今日”,“不敢”,“魏兵”,“陛下”,“一人”,“都督”,“人马”,“不知”,“汉中”,“只见”,“众将”,...原创 2019-02-28 09:22:53 · 279 阅读 · 2 评论 -
从维基百科抽取json数据到文本的代码
从维基百科抽取json数据的代码目的1.下载json的数据2.写入目的为了获取语料中的中文数据。1.下载json的数据2.写入如果一次性写入太大,可能写入不了,因此采用逐行写入import pickleimport jsonfile=open("translation2019zh_train.json",'r',encoding="UTF-8")line=file.readl...原创 2019-06-17 10:26:07 · 1243 阅读 · 0 评论 -
自然语言处理(十)
@TOC1. 基本的Attention原理。最基本的seq2seq模型包含一个encoder和一个decoder,通常的做法是将一个输入的句子编码成一个固定大小的state,然后作为decoder的初始状态(当然也可以作为每一时刻的输入),但这样的一个状态对于decoder中的所有时刻都是一样的。attention即为注意力,人脑在对于的不同部分的注意力是不同的。需要attention的原...原创 2019-03-19 10:32:53 · 352 阅读 · 0 评论 -
自然语言处理(十一)
自然语言处理(十一)--BERT1. Transformer的原理。1.1介绍1.2.Transformer模型结构1.3 输入层,位置向量1.4 Attention模型2. BERT的原理。3. 利用预训练的BERT模型将句子转换为句向量,进行文本分类。1. Transformer的原理。1.1介绍谷歌在2017年发表了一篇论文名字教Attention Is All You Need,提出...原创 2019-03-21 19:57:12 · 605 阅读 · 0 评论 -
自然语言处理(七)
自然语言处理(七)--简单神经网络 1.文本表示1.1 one-hot编码1.1.1sklearn实现one hot encode1.2 word2vec得到词向量2. FastText2.1 FastText的原理。2.2 利用FastText模型进行文本分类2.2.1fastText有监督学习分类1.文本表示1.1 one-hot编码什么是one-hot编码?one-hot编码,又...原创 2019-03-13 10:18:13 · 1140 阅读 · 0 评论 -
自然语言处理(九)
自然语言处理(九) 1. RNN。1.1RNN1.2 双向RNN1.3 LSTM 网络1.4、GRU的结构。2 利用Text-RNN模型来进行文本分类。1. RNN。1.1RNN循环神经网络,Recurrent Neural Network。神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的...原创 2019-03-17 13:37:43 · 629 阅读 · 0 评论 -
自然语言处理(六)
自然语言处理(六) 1. 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。1.1 神经网络1.2激活函数1.2.1什么是激活函数?1.2.2 激活函数的用途(为什么需要激活函数)?1.2.3有哪些激活函数,都有什么性质和特点?2. 感知机相关;利用tensorflow等工具定义简单的几层网络(激活函数sigmoid),递归使用链式法则来实现反向传播。2.1感知机模型2.2...原创 2019-03-12 10:54:13 · 1461 阅读 · 0 评论 -
自然语言处理(八)
自然语言处理(八)-卷积神经网络 1. 卷积运算的定义。1.1卷积网络,1.1.1数据输入层1.1.2.卷积计算层1.1.3参数共享机制1.1.4.激励层1.1.5.池化层1.1.6.全连接层2. 反卷积(tf.nn.conv2d_transpose)2. Text-CNN的原理。3. 利用Text-CNN模型来进行文本分类3.1代码片1. 卷积运算的定义。1.1卷积网络,也叫卷积神经网络(...原创 2019-03-15 19:39:52 · 757 阅读 · 0 评论 -
自然语言处理(四)
自然语言处理(四)(一) 特征选择1. TF-IDF原理。2. 文本矩阵化,使用词袋模型,以TF-IDF特征值为权重。(可以使用Python中TfidfTransformer库)3. 互信息的原理4. 使用第二步生成的特征矩阵,利用互信息进行特征筛选。(一) 特征选择1. TF-IDF原理。什么是TF-IDF:TF-IDF(Term Frequency-Inverse DocumentFr...原创 2019-03-07 14:52:32 · 347 阅读 · 0 评论 -
自然语言处理(五)
自然语言处理(五) 传统机器学习1. 朴素贝叶斯的原理1.1 朴素贝叶斯相关的统计学知识1.2基本定义2. 利用朴素贝叶斯模型进行文本分类2.1模型原理与训练2.2高斯模型3. SVM的原理4. 利用SVM模型进行文本分类5. pLSA、共轭先验分布;LDA主题模型原理6. 使用LDA生成主题特征,在之前特征的基础上加入主题特征进行文本分类传统机器学习1. 朴素贝叶斯的原理1.1 朴素贝叶...原创 2019-03-09 21:49:40 · 438 阅读 · 0 评论 -
自然语言处理(二)基于CNN的新闻文本分类
Task1 数据集探索数据集数据集:中、英文数据集各一份中文数据集:THUCNewsTHUCNews数据子集:https://pan.baidu.com/s/1hugrfRu 密码:qfud英文数据集:IMDB数据集 Sentiment AnalysisIMDB数据集下载和探索...原创 2019-03-03 20:37:34 · 7530 阅读 · 9 评论 -
python对一个文本不同的字进行计数
import jsonfr =open(‘xyj.txt’,‘r’,encoding=‘utf-8’)characers=[]stat={}for line in fr:line=line.strip()if len(line)==0:continuefor x in range(0,len(line)):if line[x] in [’ ‘,’。’,’ 。’,’“’,"”","...原创 2019-02-27 10:56:29 · 866 阅读 · 2 评论 -
R语言读取出现 列的数目比列的名字要多的解决方法
R语言读取出现 列的数目比列的名字要多的解决方法出现上面的错误后来我加载了一下 不加表头的header=F的我成功的加载过来了,发现有30多个变量,而且还是乱码。因此我加了fileEncoding = ‘utf-8’ 有可能你的编码不是utf-8换成你文本的编码就可以了...原创 2019-02-27 10:52:53 · 21012 阅读 · 1 评论 -
python 进行结巴分词 并且用re去掉符号
把停用词做成字典stopwords = {}fstop = open(‘stop_words.txt’, ‘r’,encoding=‘utf-8’,errors=‘ingnore’)for eachWord in fstop:stopwords[eachWord.strip()] = eachWord.strip() #停用词典fstop.close()f1=open(‘all.tx...原创 2019-02-27 10:48:30 · 2653 阅读 · 0 评论 -
自然语言处理(一)
(一).预备任务tensorflow安装推荐Anaconda(针对自己操作系统和位数下载对应版本);推荐用conda create创建对应的python环境(注:某些python版本可能不支持tensorflow);通过pip install来安装tensorflow。1.1 .下载 Anaconda网址 https://www.anaconda.com/download/1.2.安...原创 2019-02-28 13:48:51 · 323 阅读 · 0 评论 -
自然语言处理中的语言模型预训练方法--ELMO
自然语言处理中的语言模型预训练方法--ELMO1.引言2. ELMO3. ELMO 方法4 ELMO使用5. 总结1.引言在介绍论文之前,我将先简单介绍一些相关背景知识。首先是语言模型(Language Model),语言模型简单来说就是一串词序列的概率分布。具体来说,语言模型的作用是为一个长度为m的文本确定一个概率分布P,表示这段文本存在的可能性。在实践中,如果文本的长度较长,P(wi | ...原创 2019-06-22 19:00:15 · 2660 阅读 · 1 评论