贪心学院—自然语言处理—向量表示

one-hot编码

该编码方式的向量长度=词典大小

  • Boolean Representation:未出现记为0,出现记为1

  • Count-based Representation:未出现记为0,出现记出现的次数. 该方法中出现次数越多并不代表越重要

举例:
在这里插入图片描述

TF-IDF

  • TFIDF(w)=TF(d,w)IDF(w) TF-IDF\left( w \right) =TF\left( d,w \right) *IDF\left( w \right)
    TF词频( TermFrequency ) ,IDF逆向文件频率( InverseDocumentFrequency ) 主要用于表示单词的重要程度.其中:
    TF(d,w)=count(w)count(d),文档dw的词频 TF\left( d,w \right) =\frac{count\left( w \right)}{count\left( d \right)},\text{文档}d\text{中}w\text{的词频}

IDF(w)=logNN(w),N表示文档总数,N(w)表示包含w的文档数目 IDF\left( w \right) =\log \frac{N}{N\left( w \right)},N\text{表示文档总数,}N\left( w \right) \text{表示包含}w\text{的文档数目}

  • 假设理论: 对区别文档最有意义的词语应该是那些在文档中出现频率高,而在整个文档集合的其他文档中出现频率少的词语,所以如果特征空间坐标系取TF词频作为测度,就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力,TFIDF法认为一个单词出现的文本频数越小,它区别不同类别文本的能力就越大。

  • 举例:

在这里插入图片描述
上述三种方法只是简单的表示除分词在文档中的出现情况,并未学习到句子结构中的任何句法语法信息。

两种方法的优缺点

  1. 稀疏性:使用one-hot编码会出现每行只有一位为1,其余均为0的现象。
  2. 向量表太大
  3. one-hot表示的词向量不能用于计算词于词之间的相似性(计算结果为零)。

个人整理笔记,方便复习,若侵权,请联系。
附贪心学院课程链接: https://www.greedyai.com/courseinfor/105

展开阅读全文

从零开始自然语言处理

08-07
本课程隶属于自然语言处理(NLP)实战系列。自然语言处理(NLP)是数据科学里的一个分支,它的主要覆盖的内容是:以一种智能与高效的方式,对文本数据进行系统化分析、理解与信息提取的过程。通过使用NLP以及它的组件,我们可以管理非常大块的文本数据,或者执行大量的自动化任务,并且解决各式各样的问题,如自动摘要,机器翻译,命名实体识别,关系提取,情感分析,语音识别,以及主题分割等等。 一般情况下一个初级NLP工程师的工资从15万-35万不等,所以掌握NLP技术,对于人工智能学习者来讲是非常关键的一个环节。 【超实用课程内容】 课程从自然语言处理的基本概念与基本任务出发,对目前主流的自然语言处理应用进行全面细致的讲解,包括文本分类,文本摘要提取,文本相似度,文本情感分析,文本特征提取等,同时算法方面包括经典算法与深度学习算法的结合,例如LSTM,BiLSTM等,并结合京东电商评论分类、豆瓣电影摘要提取、今日头条舆情挖掘、饿了么情感分析等过个案例,帮助大家熟悉自然语言处理工程师在工作中会接触到的常见应用的实施的基本实施流程,从0-1入门变成自然语言处理研发工程师。 【课程如何观看?】 PC端:https://edu.csdn.net/course/detail/25649 移动端:CSDN 学院APP(注意不是CSDN APP哦) 本课程为录播课,课程2年有效观看时长,大家可以抓紧时间学习后一起讨论哦~ 【学员专享增值服务】 源码开放 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化 下载方式:电脑登录https://edu.csdn.net/course/detail/25649,点击右下方课程资料、代码、课件等打包下载 通过第二课时下载材料
©️2020 CSDN 皮肤主题: 游动-白 设计师: 上身试试 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值