01-NLP定义及歧义性

最新推荐文章于 2022-08-01 19:29:43 发布
最新推荐文章于 2022-08-01 19:29:43 发布
阅读量585 收藏
点赞数
分类专栏： NLP自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/springhammer/article/details/105079799
版权

NLP工程师必备核心技能

现实生活中的问题➡数学优化问题➡通过合适的工具解决

What is NLP？

  • NLP=NLU+NLG
    • NLU：语音/文本->意思
    • NLG：意思->文本/语音

The Challenge：Ambiguity（一词多义）

  • 今天参观了苹果公司
  • 现在正好是苹果季节

How to Solve Ambiguity？

  • Learning from Data
  • 上下文处理（context）
  • 更新认知

机器翻译核心算法：

  • Viterb算法（DP动态规划）降低计算复杂度
Young_and_Cold
关注
专栏目录
nlp学习笔记
Qiushuiyijiang的博客
11-08 392
nlp难点 一个意思具有多种表达方式；而是一词多义(Ambiguity）; 如何解决一词多义现象：在没有上下文（context）的情况下，可以主观判断一下； 搭建一个机器翻译系统：从语料库中匹配目标单词，其缺点在于：语法不对，速度慢可以通过AI的方法（模型）解决。如何保证语法的正确性：中文首先要分词，找到对应词，对词进行排列组合，将组合应用在模型（Language Model）上，得到一个概率，选最好的。其中的计算量特别大，采用算法解决。 Decoding algorithm and viterb algo
003_NLP的定义以及歧义性
BigData
04-29 283
1. 什么是NLP？ NLP=NLU（语音、文本-->意思）+ NLG（意思-->文本/语音） NLP:理解，NLG表达 2.为什么NLP没有Computer Version火? 图片，所见既所得。简单 文本，见文推其意。较难 3. The Challenge :Ambiguity (一词多义) 今天参观了苹果公司 现在是苹果的季节...
自然语言处理-003NLP定义以及歧义性-学习笔记
weixin_42285610的博客
07-12 657
自然语言处理的难点： 1. the challenge：multiple ways to express，对于同一个意思有多种表达方式 2. the challenge：Ambiguity，一词多义，一个词在不同语境中表达的含义 how to solve ambiguity? 例： interest，没有任何语境下，按照三个意思的主观统计概率进行意思归类 a financial interest in IBM (有语境的条件下)，有data输入->更新主管概率（认知），要考虑上下文处理，NL
一文简要了解词义消歧与实体消歧
zenRRan的博客
08-01 741
每天给你送来NLP技术干货！来自：AI算法小喵写在前面最近刚开始调研实体消歧方面的相关工作，这里先开一个头吧。希望大家可以通过这篇简要的文章对实体消歧任务本身有一个基本的认识。1. 背景：词义消歧与实体消歧1.1 词义消歧自然语言文本中存在着大量的多义词，而多义词的存在也会影响人对文本的语义理解，让人对文本的意思产生混淆。词义消岐(Word Sense Disambigu...
自然语言处理(NLP)之词义消歧(WSD)的简介与实现
IT之一小佬的博客
05-08 6531
自然语言处理(NLP)之词义消歧(WSD)的简介与实现 词义消岐简介 词义消岐，英文名称为Word Sense Disambiguation，英语缩写为WSD，是自然语言处理（NLP）中一个非常有趣的基本任务。 那么，什么是词义消岐呢？通常，在我们的自然语言中，不管是英语，还是中文，都有多义词存在。这些多义词的存在，会让人对句子的意思产生混淆，但人通过学习又是可以正确地区分出来的。 以**“小米”**这个词为例，如果仅仅只是说“小米”这个词语，你并不知道它实际指的到底是小米科技公司还是谷物。但当我们
自然语言处理NaturalLanguageProcessing(NLP).ppt
11-12
自然语言处理（NLP）是计算机科学领域与人工智能的一个重要分支，主要研究如何处理和理解人类的自然语言，包括但不限于英语、汉语等。NLP旨在让计算机能够理解、生成、处理和生成这些语言，以便更好地服务于信息处理...
chinese-nlp.pdf
05-23
自然语言处理的定义与重要性 自然语言处理（Natural Language Processing，NLP）是人工智能和语言学领域的一个重要分支，它涉及将自然语言数据转化为计算机能够理解和处理的形式。NLP的目标是让计算机能够理解人类...
什么是自然语言处理（NLP）？定义+应用一次性看个明白
qq_27005679的博客
03-18 1万+
不懂什么是自然语言处理？它在商业智能中又有哪些应用？带着这样的疑问，慧都网将从定义和应用两个方向，通过3分钟的时间快速了解自然语言处理（NLP）。 语言是一项基本的沟通工具。人类使用语言来传递信息和意义，人类善于用语言来描述现实世界。我们通常会通过语义线索来实现这一点，语义线索可以是文字，符号或者图像，它能提供与现实世界中所代表的事物更紧密的联系。 当人们看到文本时，他们通常能理解其中的含...
NLP自然语言处理大作业实验报告
最新发布
03-28
### NLP自然语言处理大作业实验报告知识点解析 #### 总体概述 自然语言处理（Natural Language Processing，简称NLP）是一种旨在使计算机能够理解、解释和生成人类语言的技术。这项技术的应用范围非常广泛，从语音...
2016年国科大NLP（自然语言处理）期末考试题-宗老师
07-07
综上所述，2016年国科大的NLP期末考试题涵盖了汉语分词、文法与自动机转换、机器翻译评价、Chart算法进行句法分析以及朴素贝叶斯文本分类等多个方面，这些都是自然语言处理领域的重要知识点和技术。通过这些知识点的...
一词多义的 ELMo 模型 6.2 【NLP 莫烦Python 自然语言处理教学】
08-30
一词多义的_ELMo_模型_#6.2_【NLP_莫烦Python_自然语言处理教学】
莫烦nlp——ELMO一词多义
ronghwa_lu
02-22 1235
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
小白nlp入门基础（一）--nlp简介
qq_24495287的博客
09-26 2166
nlp学习笔记一 编者：杨柳依依 日期：2018年9月25日 随同公司的培训，对nlp有了初步的理解，小白整理后的笔记如下： 自然语言的发展 语言随社会一同发展，出现 一词多义：苹果（水果），苹果（乔布斯公司） 多词一义：北京市，北京 简略词、缩写词：安徽，徽 新词：不明觉厉，十动然拒 新义：水军、打酱油 歧义问题： 音字转换（jiqi(机器)翻译jiqi(激起)ren m...
自然语言处理发展的四大阶段
热门推荐
herosunly的博客
05-10 5万+
1. 基于规则的方法 2. 统计机器学习方法 3. 浅层神经网络 4. 深层神经网络(预训练模型)
NLP文本分类--词向量
小菜菜的博客
10-12 5835
1.基于规则，对于要提取的分类维护一个dict,在dict里面保存需要提取的关键词，存在关键词的对应标记为分类；（缺点，不断的去维护词典） 2.基于机器学习：HMM(分词最常用的)，CRF,SVM,LDA,CNN 3.词袋模型：bag of word :(one hot)一种是统计词频和位置，一种是只存储是否出现；（缺点很明显，只有词出现信息，对于词的重要度完全没有体现） 4.tf-idf：先考虑...
《统计自然语言处理基础》笔记（2）语义消歧方法总结
huaweimember的专栏
03-24 4265
语义消歧  可以看作分类问题。一个词W有K个含义，对W消歧 就是确定W在特定句子中究竟使用了哪一个含义，即把W分到K类中的一个。分类的依据则是和W邻近的词，即W的上下文C。 歧义可以分为两类：一类是词的语义有多种，如“bank”，可以是银行，也可以是河岸；另一类是词本身的词性也是多样的，如predicate，既能作为名字，也能作为动词。对于前者， 可能需要与W相隔较远的其他词参与消歧，而对于后
（一）NLP基础知识
Haward
05-24 2万+
1、NLTK 一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的jieba处理库 2、文本处理流程 3、分词 英文用NLTK，中文用jieba等，比较难处理时候，可能得借助正则表达式。 4、复杂的词形 处理数据的时候可能需要变化词形，分2中情况： 1）Inflection变化:不影响词性 walk⇒⇒\Rightarrow walking...
NLP学习04_词向量、句子向量、倒排表
TimEcho的博客
05-16 954
词向量 欧式距离和余弦相似度的方法是无法表达单词之间的语义相似度 归为one-hot方式无法表达单词间的语义相似度 one-hot的表达方式，如果词典大小是指数级的，那么一个句子的向量表示中，只有少数位置是1，其他位置都是0 这就导致了向量稀疏 归结one-hot缺点：1、无法表达语义相似度，2、稀疏问题 词向量表示法 分布式表示法 每个单词表示的向量维度不再是等于词典长度，而是自定义的 向量中每个位置都有一个非0数值 欧式距离的方式在分布式表示方法中可以来比较单词之间的相似度 词向量只是分布式表示法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值