大模型 & NLP & 算法 知识大礼包
文章平均质量分 93
【大模型、NLP、算法】全部干货近在咫尺!¥59.9订阅本专栏即可拥有!订阅成功后请主动联系博主索要全部资料。
优惠券已抵扣
余额抵扣
还需支付
¥59.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
华师数据学院·王嘉宁
研究方向:深度学习、自然语言处理、知识图谱。
研究兴趣:大语言模型训练与推理、知识增强预训练、Prompt-tuning、小样本学习、问答系统、信息抽取。
展开
-
大模型 & NLP & 算法 大汇总
目前大模型和ChatGPT的发展迅速,NLP算法的技术更新快速,网上涌现出大量关于大模型、NLP、算法等相关博客、公众号文章以及学术论文。资料内每个PDF文件都会有作者和购买者的水印以便追踪版权所有者和使用者,因此,请勿将资料和密码分享给他人,或上传至互联网并公开。博主整理了共计13个大类知识体系,并汇总了一份完整的电子书,另外附赠大模型/NLP算法工程师求职用的算法题和面经,以及一些工具的使用。呈现给各位读者用户,方便全面系统的掌握NLP的基础知识、算法、大模型等内容。原创 2023-06-29 23:50:29 · 2816 阅读 · 5 评论 -
Prompt-Tuning——深度解读一种新的微调范式
Prompting——深度解读一种全新的微调范式 自从GPT、EMLO、BERT的相继提出,以Pre-training + Fine-tuning 的模式在诸多自然语言处理(NLP)任务中被广泛使用,其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型(Pre-trained Language Model,PrLM),然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调(Fine-tuning),以获得适应下游任务的模型。这种模式在诸原创 2021-11-19 17:38:33 · 70252 阅读 · 76 评论 -
InstructGPT原理讲解及ChatGPT类开源项目
本文分析InstructGPT以及相关开源项目原创 2023-04-26 11:32:49 · 2794 阅读 · 0 评论 -
基于DeepSpeed训练ChatGPT
教你如何使用DeepSpeed自行训练一个ChatGPT原创 2023-04-18 18:34:27 · 11231 阅读 · 3 评论 -
RLHF中的PPO算法原理及其实现
ChatGPT是基于InstructGPT实现的多轮对话生成式大模型。博主在之前的文章中已经介绍过关于)以及关于。那么除了如何训练一个基本的生成式模型外,大模型还需要关注于。在之前的文章中已经介绍了ChatGPT以及最近开源的一些类ChatGPT模型是如何实现对齐的,这里我们也详细介绍一下InstructGPT中进行人类对齐的核心算法——RLHF(人类对齐的强化学习)PPO算法。原创 2023-05-22 20:57:23 · 4188 阅读 · 1 评论 -
中文大模型评估数据集——C-Eval
作者强调了在这种具有挑战性的环境中评估LLM的重要性, 因为目前的LLM发展已经超越了创建一个休闲的聊天机器人–它涉及到能够与各种数据类型互动、接收反馈、推理和使用工具、甚至执行行动的复杂系统或代理的发展(Mialon等 人,2023)。(Muennighoff等人,2022)是通过将多任务提示微调与预训练的多语言BLOOM模型(Scao等人,2022)相结合而创建的,不仅使用英语提示,还使用机器翻译的提示来匹配多语言任务的语言,并且被认为能够进行任务和语言无关的泛化。是对原LLaMA在中文环境中的改编。原创 2023-07-29 23:11:43 · 1439 阅读 · 0 评论 -
【通览一百个大模型】MASS(Microsoft)
订阅专栏可获得博主多年积累的全部NLP、大模型和算法干货资料大礼包,,助力NLP科研、学习和求职。原创 2023-07-15 21:13:35 · 513 阅读 · 0 评论 -
【通览一百个大模型】Pythia(EleutherAI)
Pythia,一个由70M到12B个参数的解码器自回归语言模型套件,旨在专门促进科学研究。模型覆盖了多个数量级的模型规模。所有模型都按照相同的顺序在相同的数据上进行训练。数据和中间检查点可供公开研究使用。作者在Pile和去重后的Pile上训练了8个模型规模,提供了两套可以进行比较的套件副本。作者利用Pythia的这些关键特性,首次研究了精确的训练数据处理和模型规模对性别偏见、记忆能力和少样本学习等属性的影响。减轻性别偏见(Mitigating Gender Bias )原创 2023-07-09 13:44:20 · 857 阅读 · 0 评论 -
【通览一百个大模型】近100个大模型总览
展示近100个大模型总览原创 2023-07-08 15:00:38 · 1167 阅读 · 1 评论 -
基于深度学习的知识图谱综述
随着现如今计算机设备的更新,计算能力的不断提高促使深度学习再一度推上热门技术,深度学习已经广泛应用于图像处理、文本挖掘、自然语言处理等方面,在医学、交通、教育、旅游等行业发挥极大地作用。知识图谱也在深度学习的技术下得到了很大的发展。原创 2018-11-22 18:42:54 · 16375 阅读 · 9 评论 -
基于深度学习的命名实体识别与关系抽取
基于深度学习的命名实体识别与关系抽取摘要:构建知识图谱包含四个主要的步骤:数据获取、知识抽取、知识融合和知识加工。其中最主要的步骤是知识抽取。知识抽取包括三个要素:命名实体识别(NER)、实体关系抽取(RE)和属性抽取。其中命名实体识别(NER)和实体关系抽取(RE)是自然语言处理(NLP)任务中非常重要的部分。 本文将以深度学习的角度,对命名实体识别和关系抽取进行分析,在阅读本文之前,读者...原创 2020-03-10 09:53:45 · 64569 阅读 · 58 评论 -
基于word2vec的中文词向量训练
基于word2vec的中文词向量训练一、引言 在绝大多数的自然语言处理任务中,语料是无法直接用来特征提取,需要将其转化为计算机可以读取的数值,因此引入独热编码,即对于语料库中为每一个词汇设置编号。在大语料中这种做法具有很多缺点,因此在2013年Mikolov等人发表的论文《Efficient Estimation of Word Representation in Vector Space》...原创 2019-02-20 10:38:30 · 9317 阅读 · 13 评论 -
HugNLP发布,集成多种NLP任务,可训ChatGPT类模型
HugNLP框架发布,集成大量NLP任务,可训练ChatGPT类模型,开源地址:https://github.com/HugAILab/HugNLP原创 2023-05-08 10:49:02 · 655 阅读 · 0 评论 -
详谈大模型训练和推理优化技术
本文介绍大模型的训练和推理优化技术,包括混合精度训练、分布式训练DeepSpeed、INT8模型量化、参数有效性学习、混合专家训练、梯度检查点、梯度累积、Flash Attention等。原创 2023-05-19 18:03:31 · 13229 阅读 · 2 评论