![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 52
zchenack
这个作者很懒,什么都没留下…
展开
-
自然语言处理(一 神经网络背景介绍)
神经网络NLP神经网络结构文本特征表示前馈神经网络损失函数CNN应用于文本RNNRecursive NN神经网络NLP对于自然语言处理技术,传统机器学习算法例如SVM、LR等,对映射到高维空间的文本特征进行处理,大部分应用在文本分类、情感分析等。近年来,一些非线性模型在自然语言处理来领域取得了极大的成功,这里简单介绍一些神经网络的背景知识以及在文本处理中的应用。神经网络结构常用于自然语原创 2017-11-18 16:39:06 · 5231 阅读 · 0 评论 -
自然语言处理(三 RNNLM优化)
RNN LM性能改进数据预处理模型结构改进改变模型输入数据正则化RNN LM性能改进主要改进trick:输入数据预处理,改进模型结构,改变输入数据格式,正则化数据预处理(1)随机选取句子中的部分词语进行表示(使用drop rate选取句子中的词语); (2)bigram 内插、平滑等模型结构改进(1)SRNN->LSTM->GRU->minimal RNN (2)LSTM前添加CNN,选原创 2017-12-01 18:52:54 · 924 阅读 · 0 评论 -
自然语言处理(五 文本相似度)
简单共有词判断模型TFIDF向量表示TFIDFWord2vecLMSentence Embedding表示简单共有词判断模型假设现在有文本A和B,Num(A∩B)Num(A\cap B) 表示A和B中相同词的数量,Num(A∪B)Num(A\cup B)表示A和B中所有词的数量。那么定义A和B的相似程度为: Similarity(A,B)=Num(A∩B)Num(A∪B)\begin{equ原创 2017-12-16 12:40:36 · 4875 阅读 · 4 评论 -
自然语言处理(二 RNN语言模型)
RNN语言模型RNN语言模型语言模型RNN语言模型模型扩展语言模型语言模型就是指语言产生的规律,一般用来预测所使用语言语序的概率,或者是当前上下文使用某个词语的概率。换句话说,就是用来表示语言产生顺序的建模,用某个词是否恰当,这样的语序构造句子是否妥当这样的。于是,训练出一个语言模型就需要相当大的样本数据。语言模型可以分为:文法型的语言模型(就是定义相关的文法结构,例如主语+谓语+宾语构成陈述原创 2017-11-26 18:13:35 · 3382 阅读 · 1 评论 -
大话文本分类
概述文本分类是自然语言处理的重要应用,也可以说是最基础的应用。常见的文本分类应用有:新闻文本分类、信息检索、情感分析、意图判断等。本文主要针对文本分类的方法进行简单总结。传统机器学习方法分类问题一般的步骤可以分为特征提取、模型构建、算法寻优、交叉验证等。对于文本而言,如何进行特征提取是一个很重要也很有挑战性的问题。文本的特征是什么,如何量化为数学表达呢。最开始的文本分类是基于规则的,特征就是关键词...原创 2018-02-14 09:49:26 · 4528 阅读 · 0 评论 -
Tensorflow常见模型实现之一(LSTM/BiLSTM)
1. LSTMimport tensorflow as tfimport tensorflow.contrib as contribfrom tensorflow.python.ops import array_opsclass lstm(object): def __init__(self, in_data, hidden_dim, batch_seqlen=None, f...原创 2018-10-13 20:44:23 · 8342 阅读 · 0 评论 -
nlp文本常见预处理方法
1. 去除标点 def removeBianDian(self,word): if isinstance(word,str): word = word.decode("utf8") string = re.sub("[\.\!\/_,$%^*(+\"\']+|[+——!,。??、~@·#¥%……&*(:)\)-]+".de...原创 2018-10-09 14:46:25 · 3813 阅读 · 0 评论 -
Tensorflow常见模型实现之二(CNN)
1. multi-channel CNN import tensorflow as tfimport tensorflow.contib as contribfrom tensorflow.python.ops import array_opsfrom tensorflow.python.framework import dtypesclass cnn(object): d...原创 2018-10-21 15:59:02 · 487 阅读 · 0 评论 -
迁移学习在自然语言处理领域的应用
迁移学习近年来在图形领域中得到了快速的发展,主要在于某些特定的领域不具备足够的数据,不能让深度模型学习的很好,需要从其它领域训练好的模型迁移过来,再使用该模型进行微调,使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力(不过拟合)。 在迁移学习任务中,需要事先定义一组源数据集合,使用该集合训练得到预训练好的模型,该模型具备了源数据集合中的一些知识,在目标数据...原创 2018-12-01 12:10:58 · 1732 阅读 · 0 评论