NLP学习笔记五

Task 1

这次学习内容挺难的,力所能及记录自己学到的。
学习目标:
①学习word2vec的使用和基础原理;
②学习使用TextCNN、TextRNN进行文本分类;
③学习使用HAN网络结构进行文本分类。

Word2Vec

Word2Vec模型的基本思想:对出现在上下文环境里的词进行预测。
两个算法:
①Skip-grams
②Continuous Bag of Words (CBOW)

Skip-grams

给定中心词,预测它的上下文单词。
在这里插入图片描述
图片源于博主OraYang。

target——>context
input layer是一个单词的one-hot编码。然后投影到隐藏层上,再投影到很多个softmax上。

Continuous Bag of Words (CBOW)

与Skip-grams相反,CBOW是给出上下文单词,预测中心词。
context——>target
在这里插入图片描述
输入层一样是以one-hot的形式,与NNLM不同的是,对隐藏层进行,求和取平均值,最后用softmax激活投影回原来的长度上。

这两个算法的计算量还是很大,所以我们应用 Negative sampling和Hierarchical Softmax进行优化

更高效的训练方法

Negative sampling

不同于原本每个训练样本更新所有的权重、负采样每次让一个训练样本仅仅更新一小部分的权重,这样就会降低梯度下降过程中的计算量。
当使用负采样时,我们将随机选择一小部分的 negative words(比如选5个 negative words)来更新对应的权重。我们也会对我们的" positive'word进行权重更新。

Hierarchical Softmax

一般得到霍夫曼树后我们会对叶子节点进行霍夫曼编码,由于权重高的叶子节点越靠近根节点,而权重低的叶子节点会远离根节点,这样我们的高权重节点编码值较短,而低权重值编码值较长。这保证的树的带权路径最短,也符合我们的信息论,即我们希望越常用的词拥有更短的编码。对于一个霍夫曼树的节点(根节点除外),可以约定左子树编码为0,右子树编码为1

TextCNN

TEXTCNN利用CN(卷积神经网络)进行文本特征抽取,不同大小的卷积核分别抽取n-gram特征,卷积计算出的特征图经过 Max Pooling保留最大的特征值、然后将拼接成一个向量作为文本的表示。

在这里插入图片描述

TextRNN

TEXTRNN利用RNN(循环神经网络)进行文本特征抽取,由于文本本身是一种序列,而LSTM天然适合建模序列数据。 TEXTRNN将句子中每个词的词向量依次输入到双向双层LSTM,分别将两个方向最后一个有效位置的隐藏层拼接成一个向量作为文本的表示。
在这里插入图片描述

参考文档:

本课程隶属于自然语言处理(NLP)实战系列。自然语言处理(NLP)是数据科学里的一个分支,它的主要覆盖的内容是:以一种智能与高效的方式,对文本数据进行系统化分析、理解与信息提取的过程。通过使用NLP以及它的组件,我们可以管理非常大块的文本数据,或者执行大量的自动化任务,并且解决各式各样的问题,如自动摘要,机器翻译,命名实体识别,关系提取,情感分析,语音识别,以及主题分割等等。 一般情况下一个初级NLP工程师的工资从15万-35万不等,所以掌握NLP技术,对于人工智能学习者来讲是非常关键的一个环节。 【超实用课程内容】 课程从自然语言处理的基本概念与基本任务出发,对目前主流的自然语言处理应用进行全面细致的讲解,包括文本分类,文本摘要提取,文本相似度,文本情感分析,文本特征提取等,同时算法方面包括经典算法与深度学习算法的结合,例如LSTM,BiLSTM等,并结合京东电商评论分类、豆瓣电影摘要提取、今日头条舆情挖掘、饿了么情感分析等过个案例,帮助大家熟悉自然语言处理工程师在工作中会接触到的常见应用的实施的基本实施流程,从0-1入门变成自然语言处理研发工程师。 【课程如何观看?】 PC端:https://edu.csdn.net/course/detail/25649 移动端:CSDN 学院APP(注意不是CSDN APP哦) 本课程为录播课,课程2年有效观看时长,大家可以抓紧时间学习后一起讨论哦~ 【学员专享增值服务】 源码开放 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化 下载方式:电脑登录https://edu.csdn.net/course/detail/25649,点击右下方课程资料、代码、课件等打包下载 通过第二课时下载材料
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页