![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP自然语言处理
文章平均质量分 89
思诺学长-刘竞泽
材料(中国东北大学)——>电子电能自动化(法国图卢兹三大)——>FPGA&AI(法国大西洋矿业电信大学)——>电动汽车BMS软件开发(东软集团)——>分布式软件工程(法国大西洋矿业电信大学)——>软件开发(瑞士LEM)——>法国计算机工程师身份
展开
-
自然语言处理(NLP)——法国工程师IMT联盟 期末考试题
(法语)En langue arabe l'écrasante majorité des mots sont formés par des combinaisons de racines et de schèmes. Dans ce mécanisme...原创 2024-07-14 06:46:12 · 920 阅读 · 0 评论 -
自然语言处理(NLP)—— 期末复习总
文本摘要的发展经历了从抽取式摘要到基于学习的方法的转变,这一进程不仅展现了技术的进步,也反映了摘要任务在可解释性方面可能面临的挑战。抽取式摘要是早期文本摘要的主要方法,其核心思想是从原文中直接抽取句子或短语,然后将它们组合起来形成摘要。这种方法的优点在于它保留了原文的确切词汇,从而在一定程度上保证了摘要的准确性。抽取式摘要的算法通常基于一些启发式规则,如句子的位置、长度、关键词出现频率等,来评估句子的重要性。由于抽取式摘要的结果直接来源于原文,因此它具有较高的可解释性。原创 2024-07-06 00:29:33 · 936 阅读 · 0 评论 -
自然语言处理(NLP)——Rasa chatbot在输入问题时没有反应
如果你使用自定义动作(如`action_get_dept_info`)来提供部门信息,确保动作服务器正在运行,并且动作实现没有错误。解决方法:确保使用`rasa run actions`启动了动作服务器。检查自定义动作的代码,确认没有逻辑错误或异常未被捕获。查看动作服务器的日志输出,以便于诊断问题。原创 2024-07-05 00:25:11 · 327 阅读 · 0 评论 -
自然语言处理(NLP)—— 深度学习
词嵌入(Embeddings)是一种将,使得词语之间的。这意味着在这个向量空间中,语义上相近的词语会被映射到彼此接近的点上。此外,在词嵌入中,某些这允许我们通过简单的例如,通过词嵌入,可以发现"king" - "man" + "woman"的结果与"queen"非常接近,这展示了词嵌入能够捕捉到复杂的语义关系。原创 2024-06-29 01:26:40 · 945 阅读 · 0 评论 -
自然语言处理(NLP)—— Rasa中config.yml
根据项目需求,编写并引入自定义的 Rasa 组件,以处理特殊的语言现象或业务逻辑。选择和调整 Rasa 的处理管道是优化 NLU 模型的重要步骤。通过合理地使用预训练的词嵌入和微调管道组件,你可以在数据不足的情况下构建出高效、准确的 NLU 模型。随着项目的发展,持续地评估和调整管道配置,将帮助你保持模型的性能和准确性。希望本文能为你的 Rasa 项目提供有价值的指导和参考。原创 2024-06-19 04:06:33 · 566 阅读 · 0 评论 -
自然语言处理(NLP)—— 神经网络自然语言处理(Neural NLP)基础知识
语料库准备阶段的目标是创建一个既能够支持模型学习语言的普遍特性,又能针对特定任务进行优化的数据集。处理形式和内容上的异质性是实现这一目标的关键步骤。通过减少不必要的异质性、保持数据质量,并考虑到任务的特定需求,可以大大提高模型的效率和效果。原创 2024-06-19 02:34:44 · 1097 阅读 · 0 评论 -
自然语言处理(NLP)—— 符号方法与符号语言
这两个维度是理解雅各布森结构主义的核心概念。原创 2024-06-08 21:40:55 · 1121 阅读 · 0 评论 -
自然语言处理(NLP)—— rasa的测试
运行 `rasa test nlu` 命令会测试你的 Rasa NLU 模型。原创 2024-06-08 20:51:31 · 991 阅读 · 1 评论 -
自然语言处理(NLP)—— 主题建模
Dirichlet 分布是一个连续多变量概率分布,它是对多项分布中参数的先验分布。简单来说,如果你有一个多项分布(即一个分布,其中的事件有多个可能的类别,比如掷骰子的六个面),Dirichlet 分布可以用来表示这些类别分布的不确定性。Dirichlet 分布的参数是一组正实数,这些参数本身被称为"浓度参数"。分布的结果是一组满足以下条件的值每个都在 0 和 1 之间,即。所有的总和为 1,即。这些性质使得 Dirichlet 分布非常适合表示一个文档中不同主题的比例,或。原创 2024-06-06 02:56:43 · 1463 阅读 · 0 评论 -
自然语言处理(NLP)—— 自动摘要
它的第一种方法是基于理解的,受认知科学和人工智能的启发。在这个方法中,我们首先建立文本的语义表示,这可以理解为文本中的概念和它们之间关系的网络。然后,我们对这个语义表示进行简化处理,并从简化的内容中生成摘要。构建语义表示可能非常耗时和成本高昂,因为它需要深入理解文本中的每一个概念及其关系。在简化阶段决定什么是重要的可能非常微妙,因为这需要区分文本中的核心内容和次要信息。在整个处理过程中需要保持对原始信息层次的认识,不可以在简化或泛化的过程中失去重要信息。原创 2024-06-05 16:50:48 · 927 阅读 · 0 评论 -
自然语言处理(NLP)—— C-value方法
C-value方法是一种计算语料库中词组术语重要性的方法,最早由Frantzi、Ananiadou和Tsujii于1999年提出。这个方法特别适用于从大量文本数据中自动识别和评估潜在的术语或关键短语。其独特之处在于能够处理词组的包含和被包含关系,准确评估词组的重要性。首先,定义一个依赖于特定语言的、固定的词性标签模式集合。这些模式用于在语料库中匹配可能的术语候选词组。例如,在英语中,可以使用名词短语(NP)模式来识别候选词组。原创 2024-06-05 16:47:43 · 743 阅读 · 0 评论 -
自然语言处理(NLP)—— 语言检测器
为了分类任务,我们定义一个函数 `gender_features`,该函数基于名字的内在属性来提取特征。在这个例子中,我们使用的第一个属性是名字的最后一个字母。# 定义特征提取函数通过这些步骤,我们能够使用NLTK库构建一个简单但有效的名字性别分类器。我们从名字的最后一个字母开始提取特征,逐步扩展到包括更多的属性,并对分类器进行了训练和评估。通过这种方式,我们不仅实现了名字性别的分类,还探索了不同特征组合对分类性能的影响。这为进一步优化分类模型提供了基础,也展示了NLTK在自然语言处理任务中的强大功能。原创 2024-06-04 00:01:12 · 920 阅读 · 0 评论 -
自然语言处理(NLP)—— 神经网络语言处理
所谓“标记”,原创 2024-06-02 22:19:32 · 1036 阅读 · 1 评论 -
自然语言处理(NLP)—— 置信度(Confidence)
置信度(Confidence)在机器学习和统计中通常指一个模型对其做出的预测是正确的确信程度。在分类任务中,置信度通常由模型赋予特定类别的概率值来表示。例如,在文本分类或实体识别任务中,模型可能预测一个单词是一个特定实体的类别(比如人名),并给出这个预测是正确的概率,这个概率就是置信度。原创 2024-06-01 23:22:31 · 1171 阅读 · 0 评论 -
自然语言处理(NLP)—— 信息提取与文档分类
想象一下,每篇文档都是由许多不同的单词组成的,如果我们试图了解这些文档的内容,每个不同的单词都会是一个维度。比如,如果我们有成千上万个不同的单词,那我们就有成千上万个维度。这就像试图在一个非常庞大的空间内找到每篇文档的位置,非常复杂!降维就是一种方法,帮助我们减少这些维度的数量,但同时尽量保持原有的信息。这样做可以让我们更容易地处理和分析文档。原创 2024-06-01 22:35:29 · 1424 阅读 · 0 评论 -
自然语言处理(NLP)—— 语义关系提取
语义关系是指。这些关系可以是,也可以是。在自然语言处理(NLP)和文本挖掘领域,对于都是非常重要的。原创 2024-03-12 23:22:47 · 1999 阅读 · 0 评论 -
自然语言处理(NLP)—— 词义消歧与词语相似性(Word similarity)
然后取目标词每个定义中的词汇,并将这。原创 2024-03-11 08:22:12 · 1411 阅读 · 0 评论 -
自然语言处理(NLP)—— 语言学、结构的主要任务
文本摘要是指从一个或多个文档中提取关键信息,并生成一个包含主要内容的较短文本的过程。根据需求,摘要可以是抽取式的(直接从原文选取关键句或短语)或生成式的(重新表述原文的关键信息)。原创 2024-03-06 21:26:12 · 1390 阅读 · 0 评论 -
自然语言处理(NLP) —— 心理语言学
认知科学和心理语言学是两个密切相关的领域,它们研究认知过程和语言使用是如何相互作用的。 在历史上,这两个领域的发展经历了几个重要的阶段: Wundt 和其他德国心理学家使用一种叫做内省法的研究方法。内省法是一种主观的方法,研究者通过自我观察和分析个人的思维过程来研究心理现象。这种方法高度依赖于个体的自我报告,因此在客观性上存在限制。 Watson 和其他美国心理学家提出了行为主义。行为主义者拒绝发展任何关于心智操作的理论,他们只观察可见的行为,并尝试通过刺激与反应之原创 2024-02-19 03:24:01 · 1844 阅读 · 1 评论 -
自然语言处理(NLP)—— 神经网络自然语言处理(2)实际应用
通过定义一个 read_corpus 函数,我们可以逐行读取文件,并使用 Gensim 的simple_preprocess 对每一行进行简单的预处理(比如分词),然后将每个句子标记为`、TaggedDocument。每个`TaggedDocument`包含处理过的单词和一个唯一的标签(在这里,我们使用句子的行号作为标签)。原创 2024-02-22 00:37:50 · 1738 阅读 · 0 评论 -
自然语言处理1(NLP)—— 基本概念介绍
在定义NLP之前,先了解几个相关概念:语言(Language):是人类用于沟通的一种结构化系统,可以包括声音、书写符号或手势。自然语言(Natural Language):是指自然进化中通过使用和重复,无需有意计划或预谋而形成的语言。计算语言学(Computational Linguistics):是语言学和计算机科学之间的跨学科领域,它包括:a.计算机辅助语言学(Computer-aided Linguistics):利用计算机研究语言的学科,主要为语言学家所实践。原创 2024-02-11 23:57:34 · 2598 阅读 · 1 评论 -
自然语言处理(NLP)——使用Rasa创建聊天机器人
IR-BOT:检索型问答系统Task-bot:任务型对话系统Chitchat-bot:闲聊系统。原创 2024-02-07 23:29:27 · 2842 阅读 · 2 评论 -
自然语言处理(NLP)—— Dialogflow ES聊天机器人
这个实验室的目标是让你了解并使用Google的Dialogflow服务。Dialogflow是一个可以让你创建聊天机器人的服务,这个过程不需要或者只需要很少的编程技能。原创 2024-02-02 10:56:39 · 2773 阅读 · 0 评论