【自然语言处理】第二章现代语言学基础

最新推荐文章于 2024-10-06 08:54:13 发布
最新推荐文章于 2024-10-06 08:54:13 发布
阅读量1.3k 收藏 28
点赞数 19
分类专栏： 智能科学与技术 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ausgelebt/article/details/142000786
版权

【自然语言处理】第二章现代语言学基础

文章目录

1. 语言学与人类的语言

1.1 现代语言学的源起及学科分支概况

  • 语言学的人文传统：文字之学、训诂之学、音韵之学、小学：经学之附庸
  • 语言学的科学之路：
    • 1786 琼斯“印欧语系”
    • 1916 索绪尔《普通语言学教程》
    • 1957 乔姆斯基《句法结构》
  • 计算语言学的发展历程
    • 第一阶段：以语言成分的结构关系为切入点，像化学家的工作那样，分析语言系统各级的性质（结构主义语言学）
    • 第二阶段：以语言的无限能产性为旨归，像数学家的工作那样，构建形式规则，约束语言单位的组合与变换（以转换生成语法为代表的形式主义语言学）
    • 第三阶段：以帮助机器模拟人的自然语言能力为应用目标，像计算机科学家的工作那样，为计算机提供自然语言处理的理论、模型、算法和数据
  • 学科分支概况
    在这里插入图片描述

1.2 人类语言的符号性与层级性

  • 认识语言的三个维度
    • 语言的社会公用：交际工具、思维工具
    • 语言的外在形式：言语（语言的外在表现）
      • 听觉（语音）符号系统
      • 视觉（文字）符号系统
    • 语言的内在性质：语言：人的一种认知能力（高级智能现象）
  • 布拉格学派的代表人物，语言学家雅各布森，提出了语言交际功能六要素
最低0.47元/天 解锁文章
Ausgelebt
关注
专栏目录
《自然语言处理实战入门》 第一章： 自然语言处理（NLP）技术简介
shiter编写程序的艺术
12-19 8725
本博客为《自然语言处理实战课程》---- 第一课：自然语言处理简介 讲稿 文章大纲本节课程导览1.自然语言处理（NLP）简介1.1 基础技术1.2 NLP 核心技术1.3 NLP+（高端技术）1.4 课程涵盖的主要内容总揽2.知名NLP服务系统与开源组件简介2.1 单一服务提供商2.1.1 汉语分词系统ICTCLAS2.1.2 哈工大语言云（Language Technology Platfor...
【NLP】自然语言处理的高级序列建模
sikh_0529的博客
09-24 9541
在本章，我们以第6章和第7章讨论的序列建模概念为基础，并将它们扩展到序列到序列建模领域，其中模型将一个序列作为输入并产生另一个可能不同长度的序列作为输出。序列到序列问题的例子随处可见。例如，我们可能想要，给定一封电子邮件，预测回复，给定一个法语句子，预测它的英文翻译，或者给定一篇文章，写一篇总结文章的摘要。我们还在这里讨论序列模型的结构变体：特别是双向模型。为了充分利用序列表示，我们介绍了注意力机制并对其进行了深入讨论。最后，本章以实现本文所述概念的神经机器翻译 (NMT) 的详细演练结束。序列到序列 (S
自然语言处理入门——新手上路
qq_42794545的博客
11-10 8146
自然语言处理（NLP）是一门融合了计算机科学、人工智能以及语言学的交叉学科。 一、自然与语言与编程语言 1.词向量 自然语言中的词汇量比编程语言中的关键词丰富。再自然语言中，我们可以使用的词汇量是无穷无尽的，几乎没有意义完全相同的词语。我们国家语言文字工作委员会发布的《现代汉语常用词表（草案）》一共收录56 008个词条。除此之外，我们还可以随时创造各种类型的新词，而不仅限于名词。 2.结构化 自然语言是非结构化的，而编程语言是结构化的。所谓的结构化，是指信息具有明确的结构关系，比如编程.
动手学自然语言处理：解读大模型背后的核心技术
热门推荐
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
06-20 5万+
自从 ChatGPT 横空出世以来，自然语言处理（Natural Language Processing，NLP） 研究领域就出现了一种消极的声音，认为大模型技术导致 NLP “死了”。在某乎上就有一条热门问答，大家热烈地讨论了这个问题。有人认为 NLP 的市场肯定有，但 NLP 的研究会遇到麻烦，因为大模型的训练建立在海量数据与超高算力之上，普通研究者难以获取这样的资源，只能做些应用研究；也有人认为大模型为 NLP 打开了一片新天地，NLP 的研究整体上会再上一个新台阶。
AIGC时代动手学自然语言处理的不二之作
herosunly的博客
04-22 1万+
本文主要介绍了AIGC时代大模型入门经典书籍，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐：《动手学自然语言处理》 2.1 书籍简介 2.2 本书作者 2.3 玩转NLP要走好这三步 2.4 特色介绍 3. 粉丝福利 4. 自主购买
【使用 BERT 的问答系统】第 1 章 ： 自然语言处理简介
sikh_0529的博客
11-30 2075
随着最近技术的进步，通信是出现革命性发展的领域之一。通信和信息构成了现代社会的支柱，正是语言和通信导致了人类知识在各个领域的这种进步。人类一直对机器或机器人具有类似人类的能力来用我们的语言进行交谈的想法着迷。许多科幻书籍和媒体都讨论过这个话题。图灵测试就是为此目的而设计的，以测试人类是否能够破译通信通道另一端的实体是人还是机器。对于计算机，我们从计算机可以解释的二进制语言开始，然后根据指令进行计算。
自然语言处理技术发展简史
芳樽里的歌的博客
09-10 5472
万字长文，图文并茂，梳理NLP的发展史。
自然语言处理的句法和形式语法
人邮异步社区
10-11 1813
我们可以在一些不同结构层次上对语言进行分析，如句法、词法和语义。现在，我们介绍语言研究中的一些关键术语。 词法——对单词的形式和结构的研究，还研究了词与词根以及词的衍生形式之间的关系。 句法——将单词放在一起形成短语和句子的方式，通常关注句子结构的形成。 语义学——语言中对意义进行研究的科学。 解析——将句子分解成语言组成部分，并对每个部分的形式、功能和语法关系进行解释。语法规则决定了解析方式。 词汇——与语言的词汇、单词或语素（原子）有关。词汇源自词典。 语用学——在语境中运用语言的研究。
第二章 自然语言处理编程基础
06-23
《自然语言处理编程基础——Python语言详解》 Python，一种被广泛应用于自然语言处理的编程语言，因其简单易学、可读性强、可维护性好等特点而受到青睐。Python的开发者社区，Python Software Foundation（PSF），...
互联网数据挖掘课程 北大NLP课程-自然语言处理系列课程 第03章 信息检索基础(二) Web检索 共54页.pdf
04-26
《互联网数据挖掘》课程中的第三章“信息检索基础(二) Web检索”是自然语言处理系列课程的一个重要组成部分，旨在帮助学生理解Web检索的核心概念和技术。这一章详细讲解了Web检索的特点、挑战以及搜索引擎的工作原理...
论文阅读笔记-How to Fine-Tune BERT for Text Classification?
最新发布
mohen_777的博客
10-06 972
预训练语言模型BERT的最后一层较于其他层来说更加有助于分类合适的学习率和层宽有助于BERT的catastrophic forgetting使用任务语料或者同域语料进行further pre-training效果更好哦是在任务语料太少，混入跨领域数据也可，但是效果并不明显哦。
论文翻译 | ReWOO: 高效增强语言模型的解耦推理
m0_49651195的博客
10-02 1684
增强语言模型(ALMs)将大型语言模型(LLMs)的推理能力与允许知识检索和操作执行的工具混合在一起。现有ALM系统触发LLM思维过程，同时以交错的方式从这些工具中提取观察结果。具体来说，LLM调用外部工具的原因，暂停以获取工具的响应，然后根据前面的所有响应令牌决定下一个操作。这种范例虽然简单且易于实现，但由于冗余提示和重复执行，通常会导致巨大的计算复杂性。本研究首次解决了这些挑战，提出了一种模块化范式ReWOO(无观察推理)，将推理过程与外部观察分离，从而显着减少了令牌消耗。
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
10-04 1263
随着GPT等大语言模型的陆续出现，人们逐步发现和接受了这样一个现实规律:增加数据量和模型参数往往是提升深度网络模型性能最简单粗暴的方法。目前主流的大模型参数量，通常都是千亿级别起步，并且还在不断持续地扩大。大型语言模型（LLM）的微调是为了使模型更好地适应特定的任务或领域。微调通常在模型的预训练阶段之后进行，预训练阶段模型在大量无标签数据上学习通用的语言特征，而微调阶段则使用特定任务的数据对模型进行进一步训练，以提高其在该任务上的表现。全参数微调。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-01
10-01 1349
本研究使用主题建模方法，映射了教育中多模态和生成式人工智能（GenAI）的研究现状。通过Dimensions.ai进行广泛的文献搜索，得到4175篇文章。采用主题建模方法提取潜在主题，得出38个可解释的主题，组织成14个主题区域。研究发现在教育背景下，文本到文本模型的研究占主导地位，而其他模态的研究相对较少，忽视了多模态方法的更广泛潜力。研究结果表明存在研究空白，强调了在不同AI模态和教育层次上给予更平衡关注的重要性。药品错误显著威胁患者安全，导致不良药物事件（ADEs）和医疗系统的巨大经济负担。
Allen Institute for Artificial Intelligence (Ai2) 发布开源多模态语言模型 Molmo
2301_79342058的博客
09-30 969
相比之下，Ai2 的 Molmo 模型是在一个明显更小且经过精心挑选的数据集上训练的，该数据集仅包含 60 万张图像，并且它们具有 10 亿到 720 亿个参数。在过去几年中，AI 公司吸引了巨大的、数万亿美元的投资。该模型成功地描述了图像的内容，计算了躺椅的数量，并准确地指向了图像中的其他事物，因为研究人员要求。该组织声称，其最大的 Molmo 模型，具有 720 亿个参数，在测试中胜过了 OpenAI 的 GPT-4o（估计具有超过 1 万亿个参数），这些测试衡量了理解图像、图表和文档等方面的能力。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-03
10-04 2152
随着在纽约证券交易所上市的公司数量呈指数级增长，市场分析师、交易员和股东需要定期监控和评估大量公司的表现和战略转变，面临着重大挑战。提出了一种新颖的数据驱动方法，利用大型语言模型（LLMs）系统地分析和评估基于其SEC 10-K文件的公司表现。这些文件提供了公司财务表现和战略方向的详细年度报告，是评估公司健康状况各个方面（包括信心、环境可持续性、创新和劳动力管理）的丰富数据源。此外，介绍了一个自动化系统，用于提取和预处理10-K文件。
[大语言模型-论文精读] 悉尼大学-ACL2024-提升大型语言模型的复杂视觉推理能力
09-30 1480
这篇论文的标题是《Enhancing Advanced Visual Reasoning Ability of Large Language Models》，由悉尼大学计算机学院的Zhiyuan Li, Dongnan Liu, Chaoyi Zhang, Heng Wang, Tengfei Xue, Weidong Cai撰写，投稿ACL ARR2024。这篇论文提出了一种新的方法，名为复杂视觉推理大型语言模型（CVR-LLM），旨在提升模型在复杂视觉推理任务中的表现。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-04
10-04 1670
本文提出了一种新的幻觉检测方法，该方法结合了多项填空考试方法，以解决因故事线变化导致的检测准确性下降的问题。首先，该方法通过从原始文本中遮蔽多个对象来创建一个多项填空考试。然后，提示大型语言模型（LLM）重复回答这个考试。这种方法确保了考试答案的故事线与原始文本一致。最后，通过评分考试答案来量化每个原始句子的幻觉程度，同时考虑原始文本本身可能出现的幻觉雪崩效应。实验结果表明，该方法不仅单独优于现有方法，而且在与现有方法集成时也达到了更清晰的最新性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值