自然语言处理 —— 02 基于规则的词法分析

最新推荐文章于 2024-05-31 13:51:08 发布
最新推荐文章于 2024-05-31 13:51:08 发布
阅读量391 收藏
点赞数
分类专栏： 智能计算系统 & 自然语言处理 文章标签： 自然语言处理 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51339444/article/details/130279632
版权

一、什么是词法分析？

词：是自然语言中能够独立运用的最小单位，是语言信息处理的基本单位。
词法分析：是词汇层的分析技术。主要包括词的识别、形态分析、词性标注等任务。

1. 词的识别

将句子转换成词序列【就是分词？】

2. 形态分析

词的构成、形态变化、词形还原。

3. 词性标注

标记句子中的词的词性。

二、英文的词法分析

英文属于屈折型语言：因为（1）词之间一般有边界标记；（2）词的形态变化丰富。

在这里插入图片描述

1. 英文词的识别

在这里插入图片描述
在这里插入图片描述

2. 英文词的还原

（1）词形还原（Lemmatization）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
天使Di María
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
编译原理实验一——C 语言词法分析器设计与实现
08-29
通过设计、编制、调试一个具体的词法分析程序，加深对词法分析原理的理解，并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
自然语言处理—基于规则的词法分析—基于正则表达式的词性分析方法
qq_49410604的博客
09-30 1989
（一）邮箱地址和网址提取 构建正则表达式 re模块常见相关函数 re.search()在一个字符串中搜索正则表达式的第一个位置，返回match对象 re.match()从一个字符串的开始位置起匹配正则表达式，返回match对象 re.findall()搜索字符串，以列表类型返回全部能匹配的子串 re.split()将一个字符串按照正则表达式匹配结果进行分割，返回列表类型 re.finditer()搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象 re.sub()在一个
编译原理-基于tiny语言的词法分析器
04-24
编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器
自然语言处理入门——新手上路
qq_42794545的博客
11-10 7649
自然语言处理（NLP）是一门融合了计算机科学、人工智能以及语言学的交叉学科。 一、自然与语言与编程语言 1.词向量 自然语言中的词汇量比编程语言中的关键词丰富。再自然语言中，我们可以使用的词汇量是无穷无尽的，几乎没有意义完全相同的词语。我们国家语言文字工作委员会发布的《现代汉语常用词表（草案）》一共收录56 008个词条。除此之外，我们还可以随时创造各种类型的新词，而不仅限于名词。 2.结构化 自然语言是非结构化的，而编程语言是结构化的。所谓的结构化，是指信息具有明确的结构关系，比如编程.
自然语言处理——中英文分词
weixin_44853840的博客
04-26 2014
英文分词 英文原文：it is a good day! 分词结果：it, is,a, good, day, ! 通过上面的英文分词例子，可以发现英文文本词与词之间有空格或者标点符号，如果想要对这种普通的英文文本进行分词的话是不需要什么算法支撑，直接通过空格或者标点来将文本进行分开就可以完成英文分词。 如果要对多个英文文本分词，要求同时以,，.，?，!，五个符号分词。为了方便调用，我们将代码写成一个函数。首先对原文本以其中一个规则切分后，再对分好后的文本进行下一个规则的...
自然语言处理NLP（6）——词法分析
热门推荐
echoKangYL的博客
02-26 1万+
在上一部分中，我们介绍了NLP领域中的一个基本问题：序列标注问题，并对解决该问题的三种方法：HMM、CRF、RNN+CRF进行了介绍。 在这一部分中，我们将在语言结构层面对词法分析进行介绍。 在了解了NLP架构之后（在博客：自然语言处理NLP（3）——神经网络语言模型、词向量中有过介绍，忘记了的朋友们可以翻回去看看），一定还记得这样一张图： 现在，我们已经了解了自然语言研究层面的基本概念：语言模...
自然语言处理5——词法分析
weilexiao的博客
05-09 1213
自然语言处理：词法分析
自然语言处理——NLP简介
weixin_47822556的博客
03-06 1464
NLP-自然语言处理 NLP，Natural Language Processing 用机器处理人类语言的理论和技术研究在人与人交际中以及人与计算机交际中的语言问题的一门学科。 两大著名实验： 自然语言处理与图灵测试：测试是否能让某机器表现出与人一样或者无法区分的智能 图灵测试与中文屋子：判断图灵测试是否准确，是否存在一种规则手册满足使机器像人一样智能化 NLP的历史 20世纪50年代起步——机器翻译 利用计算机自动地将一种自然语言翻译为另外一种自然语言 50—70年代——模式匹配 例如计算机答疑：用户
自然语言理解及自然语言处理
12-29
自然语言理解及自然语言处理 - 统计自然语言处理的概率基础 - 词法分析 - 高效分析法 - 语义知识
百度自然语言处理部研发的一款联合的词法分析工具
04-17
LAC全称Lexical Analysis of Chinese，是实现中文分词、词性标注、专名识别等功能
2019秋 自然语言处理期末考试卷1
08-03
1. 熵的定义和公式 2. 半词法的分词方法概述 3. 句法分析的任务和意义 4. 依存关系分析简述 5. 自动问答系统和搜索引擎区别 6. 信息检索+信息抽取
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.01-2024.05.10
小小帅
05-28 906
医学图像识别任务因存在多种不同的病理指征而明显复杂化，这给未见标签的多标签分类带来了独特的挑战。这种复杂性凸显了对采用多标签零点学习的计算机辅助诊断方法的需求。预训练视觉语言模型（VLMs）的最新进展展示了医疗图像零镜头分类的显著能力。然而，这些方法在利用来自更广泛图像数据集的大量预训练知识方面存在局限性，而且通常依赖于放射科专家的手动提示构建。通过自动调整提示过程，提示学习技术已成为使 VLM 适应下游任务的有效方法。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.04.25-2024.05.01
小小帅
05-30 739
我们提出的软偏好优化（SPO）是一种将生成模型（如大型语言模型（LLM））与人类偏好相协调的方法，而无需奖励模型。SPO 通过一个自然损失函数直接在偏好数据集上优化模型输出，该函数将偏好损失与正则化项整合在模型的整个输出分布上，而不是将其限制在偏好数据集上。虽然 SPO 不需要假设现有的底层奖励模型，但我们证明，在布拉德利-特里（BT）模型假设下，它能收敛到按比例奖励的软最大值，而分布的 "软度 "可通过软最大值指数（算法参数）进行调整。
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（十） 使用 LoRA 微调常见问题答疑
段智华的博客
05-28 558
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.05.10-2024.05.20
小小帅
05-29 1075
预训练+微调范式是在各种下游应用中部署大型语言模型（LLM）的基础。其中，Low-Rank Adaptation（LoRA）因其参数高效微调（PEFT）而脱颖而出，产生了大量现成的针对特定任务的 LoRA 适配程序。然而，这种方法需要明确的任务意图选择，这给推理过程中的自动任务感知和切换带来了挑战，因为现有的多个 LoRA 适配程序都嵌入了单个 LLM 中。在这项工作中，我们介绍了 MeteoRA（多任务嵌入式 LoRA），这是一个专为 LLM 设计的可扩展多知识 LoRA 融合框架。
GPT-4o：未来语言模型的典范
最新发布
2401_84266183的博客
05-31 333
GPT-4o作为GPT系列的最新成员，不仅在技术层面取得了显著的进步，也在用户体验、安全与伦理、社会影响等方面展现出了巨大的潜力。在一项假设性的测试中，GPT-4o理解长对话上下文的准确率达到了95%，比GPT-4提高了5个百分点，这表明其在语言理解方面的巨大潜力。这一庞大的模型规模，使得GPT-4o能够处理更加复杂的语言任务，从而在理解和生成语言方面达到新的高度。在人工智能的快速发展中，GPT-4o作为GPT系列的最新成员，以其卓越的性能和创新功能，成为了业界关注的焦点。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.04.20-2024.04.25
小小帅
05-30 872
使用检索增强生成（RAG）从外部知识源检索相关信息，可以让大型语言模型（LLM）回答私人和/或以前未见过的文档集合中的问题。但是，RAG 无法回答针对整个文本语料库的全局性问题，例如 “数据集中的主要主题是什么？”，因为这本质上是一个以查询为重点的总结（QFS）任务，而不是一个明确的检索任务。同时，先前的 QFS 方法无法扩展到典型 RAG 系统索引的文本数量。
Re73 读论文：ULMFiT Universal Language Model Fine-tuning for Text Classification
诸神缄默不语的博客
05-29 633
ULMFiT论文阅读笔记
编译原理————词法分析器
11-26
在这个过程中，词法分析器会忽略空格、注释等无关字符，并将识别出的词法单元传递给语法分析器进行下一步处理。 词法分析器的主要任务包括：定义词法单元的类型和模式、实现有限状态自动机、处理错误和异常情况等。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天使Di María

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值