AI-自然语言处理-词性标注、命名实体识别、句法分析和语义分析

本文介绍了自然语言处理的基本概念,重点探讨了词性标注、命名实体识别的定义、难点及深度学习方法。同时,强调了句法分析和语义分析在理解和翻译中的关键作用,尽管现代技术中句法分析的重要性有所下降,但在复杂场景下仍有其价值。
摘要由CSDN通过智能技术生成

学习目标
   • 了解自然语言处理基本知识
   • 掌握循环神经网络算法
   • 掌握自然语言处理关键技术
   • 了解自然语言处理的应用

词性标注
   定义
      • 词性标注:为分词结果中的每个单词标注一个正确的词性的程序,也即确定每个词是名词、动词、形容词或者其他词性的过程。例如:迈向/v 充满/v 希望/n 的/uj 新/a 世纪/n。
         • 词性:是词汇基本的语法属性
         • 目的:是很多NLP任务的预处理步骤,如句法分析、信息抽取,经过词性标注后的文本会带来很大的便利性,但也不是不可或缺的步骤。
         • 方法:基于规则的方法、基于统计的方法、基于深度学习的方法。
      • 在中文中,一个词的词性很多时候都不是固定的,一般表现为同音同形的词在不同场景下,其表示的语法截然不同,这就为词性标注带来了很大的困难。但是,大多数词语只有一个词性,或者出现频次最高的词性远远高于第二位的词性。据说单纯选取最高频词性,就能实现80%准确率的中文词性标注程序。

命名实体识别
   定义
      • 命名体识别(Named Entities Recognition, NER):又称作“专名

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值