[NLP] 初窥000001

最新推荐文章于 2024-04-25 07:46:35 发布
最新推荐文章于 2024-04-25 07:46:35 发布
阅读量334 收藏 3
点赞数 4
分类专栏： NLP 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tangsiqi130/article/details/136981981
版权

NL(natural language)–自然语言

人类的语言–中文，英语，法语

NLP(Natural Language Processing)–自认语言处理

计算机处理人类语言的技术，它包含翻译、智能问答、文本分类、情感分析等常见应用。

  • CV(Computational Vision) 感知
  • NLP 认知

简史

在这里插入图片描述

词频统计

统计学习

N-Gram思想–马尔可夫

循环神经网络（rnn）

携带前面字或者词的状态｜特征进入下一个词

  1. 数值问题

    • 梯度消失
    • 梯度爆炸

transformer

  1. bert(NLU)

  2. T5(解码器和编码器结合的模型)

    • 应用-翻译

  3. chatGPT

基本任务

在这里插入图片描述

基本流程

在这里插入图片描述

阿汤哥的程序之路
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
虚假新闻检测——Adapting Fake News Detection to the Era of Large Language Models
qq_52053775的博客
04-23 671
训练数据的平衡：研究建议在训练假新闻检测器时使用多样化的数据源，尤其是在不确定测试数据分布的情况下，应包含不同来源的真假新闻。跨域性能的优化：通过在训练集中增加机器生成内容的比例，可以改善检测器在不同域上的泛化能力，从而减少在域内和域外检测准确性之间的差距。
虚假新闻检测——Exploring the Role of Large Language Models in Fake News Detection
qq_52053775的博客
04-24 103
该研究探讨了大型语言模型（如GPT-3.5）与小型语言模型（如BERT）相比，在检测假新闻方面的有效性。研究结果表明，尽管大型语言模型能够提供有价值的多视角依据，但性能不如微调的小型语言模型，例如BERT。该研究将这种表现不佳归因于大型语言模型在选择和整合这些依据形成连贯结论方面的局限性。因此，该文提出大型语言模型不应该替代小型语言模型，但可以作为顾问，增强小型语言模型的检测能力。因此，论文提出了ARG，旨在有效地将大型语言模型的洞察力整合到小型语言模型中。
自然语言处理NaturalLanguageProcessing(NLP).ppt
11-12
主要内容: 自然语言处理概述 什么是自然语言处理 自然语言处理的典型应用 自然语言处理的基本任务 自然语言处理的基本策略和实现方法 自然语言处理的难点 自然语言处理所涉及的学科 基于规则的自然语言处理方法（理性方法，传统方法） 基于词典和规则的形态还原（英语）、词性标注以及分词（汉语、日语） 基于（上下文无关文法）和扩充的（复杂特征集、合一运算）的句法表示及其分析技术 基于逻辑形式和格语法的句义分析 基于规则的机器翻译 基于语料库的自然语言处理方法（经验方法） 语言模型（元文法） 分词、词性标注（序列化标注模型） 句法分析（概率上下文无关模型） 文本分类（朴素贝叶斯模型、最大熵模型） 机器翻译 ( 等) ......（基于神经网络的深度学习方法）
spark初窥
bata专栏
11-07 223
spark入门级介绍
初窥文本挖掘
Cloni的博客
04-03 50
what 基于自然语言，让计算机提取自己想要的信息 例如直接从淘宝客户的评价中，分析客户的情感意愿，可省去现在繁琐的星级评价和特定标签的选择 而分词、词性、文本相似度的判别是整个过程中比较重要的、需要攻克的内容 分词 基于字典、词库 与字典中的词做匹配，简单，效率高 缺点：中文复杂，需要完善的匹配空间 基于词频 把每个相邻词之间的信息做记录，根据词之间的搭配频率来判断语境 缺点：需要大量的语料库，且语料库的质量直接影响分词的质量，且计算量大 基于知识理解 通过语句、语法和语义等，结合上下文对词进行定界，通过
自然语言处理 -分词初窥
SLP_L的博客
01-18 572
中文分词是指的是将一段文本拆分为一系列单词的过程，这些单词顺序拼接后等于原文本。粗略的讲，中文分词方法分为基于字符串匹配的分词算法，基于理解的分词算法和基于统计的分词算法。 基于字符串匹配的分词算法 也称机械分词算法，它会提前维护一个大的字典，然后将句子和字典中的词进行匹配，若匹配成功，则可以进行分词处理。当字典足够大的时候，就需要考虑不同的匹配算法，通常会基于 Trie 树结构，来实现高效的词图扫描。 基于统计的分词算法 给出大量已经分词的文本，利用统计机器学习模型学习词语切分的规律（称为训练），
NLP课件（自然语言处理课件）
08-19
NLP课件（自然语言处理课件）
自然语言处理NLP，杂项NLP代码
03-27
自然语言处理NLP，杂项NLP代码 说明：自然语言处理NLP，杂项NLP代码 (NLP,misc NLPcode) 文件列表: src(0,03-17) src\hmmtagger(0,03-17) src\hmmtagger\HMMTagger.java(15760,03-17) src\hmmtagger\State.java(700,...
NLP自然语言处理nlp，一些nlp片段
03-21
【NLP】自然语言处理nlp，一些nlp片段 说明：nlp，一些nlp片段 (nlp,somenlpfragments) 文件列表: nlp_desc1.jpg(117535,-11-04) nlp_desc2.jpg(83461,-11-04) splits.java(3636,-11-04) 【NLP】自然语言处理nlp，...
NLP基于深度学习的自然语言处理综述.pdf
04-21
NLP基于深度学习的自然语言处理综述.pdf 相比传统的机器学习，深度学习试图模仿人的学习思路，通过计算机自动完成海量数据的特征提取，文中对近三年的相关文献进行了研究，首先从深度学习的基本概念进行说明，然后对...
AI大模型探索之路-训练篇3：大语言模型全景解读
最新发布
寻道码路，探索编程之路的无限可能。
04-25 2772
大规模语言模型（Large Language Models，LLM），也称大语言模型或大型语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语言模型，通常使用自监督学习方法通过大量无标注文本进行训练。
ExpertPrompting：指导大语言模型成为杰出专家
叶庭云 成为自己的光
04-21 890
ExpertPrompting：指导大语言模型成为杰出专家
AI大模型探索之路-训练篇2：大语言模型预训练基础认知
寻道码路，探索编程之路的无限可能。
04-24 2392
在人工智能的宏伟蓝图中，大语言模型（LLM）的预训练是构筑智慧之塔的基石。预训练过程通过调整庞大参数空间以吸纳数据中蕴含的知识，为模型赋予从语言理解到文本生成等多样化能力。本文将深入探讨预训练过程中的技术细节、所面临的挑战、通信机制、并行化策略以及如何通过这些技术的融合提升预训练的效率和性能。预训练大语言模型是一项既富有挑战又极具价值的工作。随着模型规模的不断扩大和数据量的激增，如何高效地进行预训练已经成为了AI研究的核心议题。
【NLP】大语言模型基础之GPT
小哲的博客
04-24 1046
OpenAI公司在2018年提出的生成式预训练语言模型（Generative Pre-Training, GPT）是典型的生成式预训练语言模型之一。GPT的模型结构如下所示：它是由多层Transformer组成的单向语言模型，主要分为输入层、编码层和输出层三部分。
探索数学语言模型的前沿进展——人工智能在数学教育和研究中的应用
人工智能前沿分享
04-22 885
数学一直被认为是科学的基石，对于推动技术进步和解决现实世界问题具有重要意义。然而，传统的数学问题解决方式正面临着数字化转型的挑战。MLMs的出现，预示着数学学习和研究方式的一次革命。MLMs，包括预训练语言模型（PLMs）和大规模语言模型（LLMs），已经成为数学问题解决领域的新星。这些模型通过在大量数学数据集上的预训练和微调，展示了在数学问题解决上的巨大潜力。预训练语言模型是通过在大量文本数据上进行预训练来构建的，目的是让模型学习语言的基本结构和语义。
适合初学者的自然语言处理 (NLP) 综合指南
学以致用 知行合一
04-21 1098
自然语言处理 (NLP) 是人工智能 (AI) 最热门的领域之一，现在主要指大语言模型了。这要归功于人们热衷于能编写故事的文本生成器、欺骗人们的聊天机器人以及产生照片级真实感的文本到图像程序等应用程序。近年来，计算机理解人类语言、编程语言，甚至类似于语言的生物和化学序列（例如 DNA 和蛋白质结构）的能力发生了革命。最新的人工智能模型正在解锁这些领域，以分析输入文本的含义并生成有意义的、富有冲击力（你懂的）的输出。
论文解读：(UPL)Unsupervised Prompt Learning for Vision-Language Models
weixin_50917576的博客
04-22 893
像CLIP这样的对比视觉语言模型在迁移学习方面已经取得了很大的进展。在推理阶段，需要精心设计适当的文本描述，也称为提示，以正确分类给定的图像。为了避免费力的提示工程，最近的工作，如CoOp, CLIP-Adapter和Tip-Adapter提出了适应视觉语言模型的下游图像识别任务在一小组标记数据上。虽然实现了有希望的改进，但要求来自目标数据集的标记数据可能会限制可伸缩性。在本文中，我们探索了一种不同的场景，其中目标数据集的标签没有提供，我们提出了一种无监督提示学习(UPL)方法，以避免提示工程...
nlp（6）--构建找规律模型任务
njh1147394013的博客
04-21 257
两个DEMO 练手，一个回归的，一个多分类
nlp自然语言处理python
09-14
NLP（自然语言处理）是一门研究如何使计算机能够理解和处理人类语言的领域。Python是一种广泛用于编程的编程语言。结合Python和NLP可以进行各种自然语言处理任务，如文本分类、命名实体识别、情感分析等。在Python中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值