自然语言处理

本文介绍了自然语言处理的关键技术,包括分词、词性标注、命名实体识别、信息抽取(如关系抽取和事件抽取)、文本分类与聚类的区别、句法分析以及机器学习中的数据预处理、特征工程等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

自然语言的特点:词汇量大(关键词丰富)、非结构化、歧义性、容错性、易变性、简略性

一、简单知识介绍
1.自然语言处理的层次

1.语音,图像、文本

2.中文分词(词与词之间的边界)、词性标注(形容词、名词、动词等的标注)、命名体识别(专有名词,一般包括三大类(实体类、时间类和数字类)和七小类(人名、地名、机构名、时间、日期、货币和百分比))

3.信息抽取(information extraction),简称IE,即从自然语言文本中,抽取出特定的事件或事实信息,帮助我们将海量内容自动分类、提取和重构。 这些信息通常包括实体(entity)、关系(relation)、事件(event)。信息抽取主要包括三个子任务:关系抽取(RE)、命名实体识别(NER)、事件抽取(EE)。

4.文本分类与文本聚类:两者区别为,文本分类为事先确定好的类别进行分类,文本聚类为无监督学习,没有确定的类别数量。

5.句法分析:句法分析分为两类,一类是分析句子的主谓宾 定状补的句法结构。另一类是分析词汇间的依存关系,如并列 从属 比较 递进等

6.语义分析与篇章分析

…………等其他综合性任务

2.机器学习

机器学习步骤:

1.数据预处理

2.特征提取(特征工程)

3.模型建立

4.进行训练

算法分类:监督学习,无监督学习,半监督学习

二、词典分词

1.词典

分词,词性标注,和命名实体识别,有什么区别? - 知乎 (zhihu.com)

文本分类与文本聚类的区别_文本分类和文本聚类的区别_july_2的博客-CSDN博客

自然语言处理基础4 -- 句法分析 - 知乎 (zhihu.com)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值