![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
xiaohuixiao!
这个作者很懒,什么都没留下…
展开
-
model.evaluate 和 model.predict 的区别
model.evaluate 和 model.predict 的区别原创 2020-07-27 11:05:27 · 1128 阅读 · 0 评论 -
bert在多分类等应用
参考:BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBert时代的创新(应用篇):Bert在NLP各领域的应用进展一、bert原理1、应用领域:文本分类文本分类是个NLP中历史悠久,源远流长……总之比较成熟的应用领域。它的意思是给定一个文档,模型告诉这是哪个类别,是讲的“体育”还是“娱乐”,总之就是这个意思。那么,Bert应用在这个领域效果如何呢?目前也有工作。论文:DocBER原创 2020-07-23 13:27:02 · 1191 阅读 · 1 评论 -
nlp复习--seq2seq & attention
seq2seqseq2seq又叫Encoder-Decoder模型。它可以实现从一个序列到任意一个序列的转换,模型如下所示,其左半部分为Encoder部分,右半部分为Decoder部分。在翻译的应用中,可以理解为看完一个句子,提炼出它的大意Seq2Seq模型中的向量 c就代表着context vector,即含有所有输入句信息的向量。缺点基础的Seq2Seq有一些缺点,因为Encoder将输入编码为固定大小状态向量的过程实际上是一“信息有损压缩”的过程,如果信息量越大,那么这个转化向量的过程对信原创 2020-06-26 17:50:12 · 505 阅读 · 0 评论 -
nlp期末复习--文本分类
整个文本分类问题就拆分成了特征工程和分类器两部分。特征工程分类器1、 特征工程文本特征工程分为文本预处理、特征提取、文本表示三个部分。文本预处理:中文文本处理中主要包括文本分词和去停用词两个阶段。特征提取:特征选择的基本思路是根据某个评价指标独立的对原始特征项(词项)进行评分排序,从中选择得分最高的一些特征项,过滤掉其余的特征项。(TF-IDF方法)文本表示:文本表示的目的是把文本预处理后的转换成计算机可理解的方式,是决定文本分类质量最重要的部分。(传统做法常用词袋模型(BOW,原创 2020-06-26 14:26:46 · 377 阅读 · 0 评论 -
nlp期末复习-循环神经网络
RNN为什么会有记忆功能呢?因为在下一次的计算中,隐藏单元也和输入一起参与了运算。我们知道隐藏单元是输入的计算结果;因此可以在一定程度上保留输入的信息。怎么理解呢?注:输出结果后更新隐藏值,就是这次算的的隐藏值下次使用lstmGRU...原创 2020-06-26 13:41:21 · 202 阅读 · 0 评论 -
nlp期末复习-词向量
1、不能体现词的含义进行编码(one-hot)2、单词按照含义进行编码成向量的方式称为word embeddingWord Embedding:Word2Vec(CBOW/Skip-gram)—>Glove使用Word Embedding:句子中每个单词以Onehot形式作为输入,然后乘以学好的WordEmbedding矩阵Q,就直接取出单词对应的Word Embedding了Word2VecCBOW模型的训练输入是某一个特征词的上下文(context)相关的词对应的词向量,而输出原创 2020-06-24 10:45:32 · 337 阅读 · 0 评论 -
nlp复习--神经网络基础
1、神经网络技术发展2、那么感知器怎么样能训练出权重呢?首先,所有的权重参数都是随机的;然后根据一个标准【代价函数】,使用一些方法【梯度下降】更新权重,直到这个标准【代价函数】的值足够好;或者权重每次更新的值足够小。3、梯度下降梯度下降中的梯度指的是代价函数对各个参数的偏导数,偏导数的方向决定了在学习过程中参数下降的方向,学习率(通常用α表示)决定了每步变化的步长,有了导数和学习率就可以使用梯度下降算法(Gradient Descent Algorithm)更新参数了。☞我们目标是求这个损失函数原创 2020-06-23 15:59:04 · 205 阅读 · 0 评论 -
nlp期末复习--介绍
自然语言处理的历程:上下文无关的文法---->利用统计语言学的方法自然语言处理的领域:1、 拼写纠正2、文本分类3、机器翻译4、词向量5、自然语言生成6、人机对话系统原创 2020-06-22 20:42:12 · 258 阅读 · 0 评论 -
莫烦python---pytorch学习(上)
一、推荐学习网站:莫烦python二、pytorch学习1、介绍PyTorch是一个非常有可能改变深度学习领域前景的Python库。PyTorch是一个基于Python的库,用来提供一个具有灵活性的深度学习开发平台。PyTorch的工作流程非常接近Python的科学计算库——numpy。优点:易于使用的API—它就像Python一样简单。Python的支持—如上所述,PyTorch可以顺利地与Python数据科学栈集成。它非常类似于numpy,甚至注意不到它们的差别。动态计算图—取代了原创 2020-06-02 20:26:41 · 1424 阅读 · 0 评论 -
nlp-自然语言处理三大特征抽取器(CNN/RNN/TF)比较
资料参考:放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取器(CNN/RNN/TF)比较一、nlp四大类任务一类是序列标注,这是最典型的NLP任务,比如中文分词,词性标注,命名实体识别,语义角色标注等都可以归入这一类问题,它的特点是句子中每个单词要求模型根据上下文都要给出一个分类类别。第二类是分类任务,比如我们常见的文本分类,情感计算等都可以归入这一类。它的特点是不管文章有多长,总体给出一个分类类别即可。第三类任务是句子关系判断,比如Entailment,QA,语义改写,自然语原创 2020-05-29 21:52:41 · 1416 阅读 · 1 评论