自然语言处理_人工智能博客-专业IT技术发表平台

推荐付费专栏 VIP文章

Python Transformers库【NLP处理库】全面讲解作用：提供预训练模型（如 BERT、GPT、RoBERTa）和工具，用于 NLP 任务（文本分类、翻译、生成等）。核心组件Tokenizer：文本分词与编码Model：神经网络模型架构Pipeline：快速推理的封装接口# 加载数据集# 定义模型# 训练参数配置# 训练器配置# 开始训练loss_fct = torch.nn.CrossEntropyLoss(weight=torch.tensor([1.0, 2.0])) # 类别权重。

阅读 5.3k

60赞

Web3&Basketball

自然语言处理（NLP）中NER如何从JSON数据中提取实体词的有效信息在处理多语言文本时，词形还原（lemmatization）和特征属性（feats）的处理方式可能会有所不同，这主要取决于每种语言的语法结构、词汇特点以及可用的自然语言处理（NLP）工具。以下是一个Python代码示例，它展示了如何从JSON数据中提取实体词的有效信息，并将其映射到预定义的实体类型。总之，在处理多语言文本时，词形还原和特征属性的处理需要考虑到语言的特定特性和资源的可用性。最后，我们打印出映射后的实体信息。属性包含了实体的附加特征，这些特征可以提供更多关于实体的上下文信息，例如性别、国籍等。

阅读 2.4k

67赞

NLP（五十九）使用FastChat部署百川大模型本文主要介绍了如何使用FastChat来部署国产大模型——百川模型，并演示了两种部署方式——WEB部署和CLI部署，以及在部署过程中出现的问题和解决方案，希望能给读者带来启示。

阅读 785

24赞

墨鸦_Cormorant

一文了解什么是NLP（自然语言处理）自然语言处理（NLP）是一种专业分析人类语言的人工智能。接收自然语言，这种语言是通过人类的自然使用演变而来的，我们每天都用它来交流转译自然语言，通常是通过基于概率的算法分析自然语言并输出结果简而言之，这就是一个创建算法的过程。苹果公司的人工智能语音助手 Siri 的工作过程就是自然语言处理在实践中应用的一个鲜活案例。NLP 正在成为我们生活中不可或缺的一部分，其与机器学习、深度学习一起达成的高度远远优于几年前取得的成就。在本文中我们将深入了解NLP是如何应用、如何工作的。

阅读 1.3w

130赞

小言从不摸鱼

【NLP自然语言处理】探索GRU：深度学习中门控循环单元的魅力 GRU（Gated Recurrent Unit）也称门控循环单元结构, 它也是传统RNN的变体, 同LSTM一样能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象.

阅读 3.5k

133赞

天天向上的洋

【NLP】-nltk安装详细教程（一遍包会）保姆带你通关安装nltk，解决烦人的下载问题

阅读 2.0k

18赞

【Python】探索自然语言处理的利器：THULAC 中文词法分析库详解 THULAC（THU Lexical Analyzer for Chinese）是清华大学开发的一款中文词法分析工具，集成了分词和词性标注两大功能。THULAC 拥有强大的分词能力和高效的词性标注，适用于多种中文文本处理场景。该工具能够在保证高准确率的同时保持较快的处理速度，非常适合大规模中文数据处理。

阅读 4.6k

160赞

大语言模型：解锁自然语言处理的无限可能在当今的科技时代，自然语言处理技术正以前所未有的速度发展，语言大模型作为其中的核心力量，对各个领域产生了深远的影响。本文旨在探讨语言大模型的发展历程、核心技术以及广泛的应用场景，以帮助读者更好地理解这一前沿技术的重要性和潜力。

阅读 1.6k

92赞

自然语言处理之情感分析：BERT：情感分析理论与应用情感分析（Sentiment Analysis），也称为意见挖掘（Opinion Mining），是自然语言处理（NLP）领域的一个重要分支，旨在从文本中识别、提取和量化作者的情感、态度或情绪。情感分析广泛应用于社交媒体监控、产品评论分析、市场趋势预测等领域，帮助企业理解公众对其产品或服务的看法。在情感分析任务中，BERT模型通常在最后一层添加一个分类头，如一个全连接层，用于将BERT的输出转换为情感类别。

阅读 902

27赞

【从神经网络到Transformer及NLP大模型的初步理解】本文旨在对神经网络基础概念进行介绍，然后对NLP领域的发展脉络继续粗述，包括对当前大模型基础的Transfomer结构的由来、发展及原理进行简单说明，让大家对神经网络（深度学习）和当前的大模型以及涉及的预训练、微调等概念有个基本认识，其中涉及的数据学推理等并不作为本文说明的重点，大家有兴趣可以自行研究。（PS：其中涉及一些的对NLP模型的理解，大家见仁见智）

阅读 1.0k

10赞

自然语言处理 nltk用于英文文本的分词、词性标注、词频统计等。：对英文文本进行分词。：对文本进行词性标注。：统计词频。jieba中文分词库，用于对中文文本进行分词。：对中文文本进行分词。matplotlib数据可视化库，用于绘制柱状图、饼状图、点状图等。：绘制柱状图。：绘制饼状图。matplotlib.pyplot.scatter()：绘制点状图。wordcloud用于生成词云图。：生成词云。easyguitkinter提供简单的图形用户界面（GUI），easygui适合简单交互，tkinter。

阅读 703

17赞

小白学NLP：Sentence Transformers教程 Sentence Transformers（简称SBERT）是一个Python模块，用于访问、使用和训练最先进的文本和图像嵌入模型。**它可以用来通过Sentence Transformer模型计算嵌入向量，或者使用Cross-Encoder模型计算相似度分数。**本相似度和意译挖掘等。

阅读 7.5k

17赞

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks RAG

阅读 1.2k

17赞

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks论文分享这种方法也应用于知识密集型对话中，在这些对话中，生成器直接基于检索到的文本进行条件生成，尽管这些文本是通过TF-IDF获取的，而非端到端学习的检索方式[9]。不过，方法也有一些不同之处，相对较少强调对检索到的内容进行轻微编辑，而是侧重于聚合多个检索到的内容，同时还包括学习潜在检索，以及检索证据文档而非相关的训练对。与先前的工作相比，这项工作具有一些积极的社会意义：它更紧密地基于真实的事实知识（在本文中为维基百科），这使得生成内容时更少产生“幻觉”，更符合事实，并且提供了更多的可控性和可解释性。

阅读 753

24赞

【自然语言处理（NLP）】循环神经网络RNN 循环神经网络（Recurrent Neural Network，RNN）是一类特殊的人工神经网络，它适合处理序列数据，在自然语言处理、语音识别等领域应用广泛。下面从结构原理、特点、存在的问题及应用场景等方面详细介绍。

阅读 1.6w

82赞

【NLP】【学习笔记】Encoder-Decoder、Attention 多头注意力机制的目的是。

阅读 1.8k

67赞

赚钱娶小唐

NLP小白怎么自己复现一篇论文的代码小白复现代码基本流程

阅读 8.6k

83赞

自然语言处理之情感分析：XLNet在社交媒体的应用技术教程 XLNet是基于Transformer架构的预训练语言模型，由Google和CMU的研究人员在2019年提出。与BERT等模型相比，XLNet在预训练阶段采用了序列记忆机制，能够更好地处理序列依赖性，从而在多项NLP任务上取得了更优的性能，包括情感分析。XLNet是一种基于Transformer的预训练语言模型，它通过双向训练和动态掩码策略来改进对上下文的理解，从而在多种自然语言处理任务上表现出色，包括情感分析。

阅读 859

11赞

自然语言处理nlp--8.文本摘要文本摘要是从原文提取核心信息并生成简洁概括的技术，分为抽取式和生成式两类。抽取式方法（如TextRank）直接选取关键句子，计算高效但灵活性不足；生成式方法（如Seq2Seq）通过深度学习重新组织语言，表达自然但需要大量数据。评估主要采用ROUGE等指标计算内容重合度。当前趋势是结合两种方法优势，在保证准确性的同时提升可读性。随着大模型发展，生成式摘要质量显著提高，但平衡信息密度与流畅性仍是挑战。

阅读 1.7k

50赞

作者推荐

七七Seven～: 一起学大模型，一起做大做强

关注

AI大模型-大飞: 总是容易被往事打动

关注

大模型微调教程: 日常研究Ai大模型分享大模型相关知识与资料，干货尽绵薄之力帮助到您学习成就理想

关注

Paper易论: AIGC 前沿技术的翻译者与引路人

关注

鸡腿爱学习: 做大做强做大做强做大做强

关注

会飞的Anthony: 北京邮电大学在读博士，曾先后任NLP算法工程师、JAVA全栈开发工程师。

关注

大模型官方资料: 专业分享各种Python资料

关注

大模型_: ：前阿里算法专家 | 算法团队leader ：目前专注于智能驾驶方向的LLM研究和落地：持续输出大模型技术和面试干货

关注

人工智能大模型讲师培训咨询叶梓: 叶梓老师，长期负责城市信息化智能平台的建设工作，牵头多个省级、市级智能化信息系统的建设，主持设计并搭建多个行业省级、市级人工智能及大数据平台。人工智能相关的培训和咨询qq526346584

关注

紫雾凌寒: 公众号:紫雾凌寒。8年互联网大厂研发经验，关于软件开发探讨可联系我，专注分享人工智能、移动开发、学习成长。路漫漫其修远兮，吾将上下而求索。

关注