PaddleNLP：飞桨深度学习框架下的自然语言处理库

PaddleNLP：飞桨深度学习框架下的自然语言处理库

PaddleNLP 👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc. 项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLP

项目基础介绍和主要编程语言

PaddleNLP 是一个基于飞桨（PaddlePaddle）深度学习框架的自然语言处理（NLP）库。该项目主要使用 Python 编程语言开发，旨在为开发者提供一个易于使用且功能强大的 NLP 工具集。PaddleNLP 支持多种硬件平台，包括英伟达 GPU、昆仑 XPU、昇腾 NPU、燧原 GCU 和海光 DCU 等，适用于从研究到工业应用的广泛场景。

项目核心功能

PaddleNLP 提供了丰富的功能，涵盖了从文本分类、神经搜索、问答系统、信息抽取到文档智能和情感分析等多个 NLP 任务。其核心功能包括：

• 文本分类：支持多种文本分类任务，如情感分析、主题分类等。
• 神经搜索：提供高效的神经网络搜索功能，适用于信息检索和推荐系统。
• 问答系统：支持构建基于深度学习的问答系统，能够处理复杂的问题和答案生成。
• 信息抽取：提供信息抽取功能，能够从文本中提取结构化信息。
• 文档智能：支持文档理解和智能处理，适用于文档分类、摘要生成等任务。
• 情感分析：提供情感分析功能，能够自动识别文本中的情感倾向。

项目最近更新的功能

PaddleNLP 最近更新了一系列功能，主要包括：

• PaddleNLP 3.0 发布：2024年8月8日，PaddleNLP 3.0 正式发布，训压推全流程贯通，主流模型全覆盖，大模型自动并行，千亿模型训推全流程开箱即用。提供产业级高性能精调与对齐解决方案，压缩推理领先，多硬件适配，覆盖产业级智能助手、内容创作、知识问答、关键信息抽取等应用场景。
• PaddleNLP v3.0 Beta：2024年6月27日，PaddleNLP v3.0 Beta 发布，拥抱大模型，体验全升级，统一大模型套件，实现国产计算芯片全流程接入，全面支持飞桨4D并行配置、高效精调策略、高效对齐算法、高性能推理等大模型产业级应用流程。
• PaddleNLP v2.8：2024年4月24日，PaddleNLP v2.8 发布，自研极致收敛的 RsLoRA+算法，大幅提升 PEFT 训练收敛速度以及训练效果，引入高性能生成加速到 RLHF PPO 算法，打破 PPO 训练中生成速度瓶颈，PPO 训练性能大幅领先。

这些更新进一步增强了 PaddleNLP 在大模型训练、精调、对齐和推理方面的能力，为开发者提供了更加高效和便捷的工具。

PaddleNLP 👑 Easy-to-use and powerful NLP and LLM library with 🤗 Awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications, including 🗂Text Classification, 🔍 Neural Search, ❓ Question Answering, ℹ️ Information Extraction, 📄 Document Intelligence, 💌 Sentiment Analysis etc. 项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLP