LLM
文章平均质量分 86
-柚子皮-
╰☆ゞ不染纤尘,不忘初心ゞ☆╮
展开
-
LLM:大语言模型
主要分成底层和3个分支(transformer-encoder类、transformer类、transformer-decoder类)原创 2023-06-07 04:00:12 · 230 阅读 · 0 评论 -
GPT的前世今生:从gpt1到chatgpt的能力提升
从2017年google brain提出transformer模型,到2018年基于transformer模型open ai推出了gpt1模型以及google推出了bert模型,到2019-2021年open ai陆续推出gpt2和gpt3,再到2022-2023年推出chat-gpt和gpt4,大语言模型已经发展成了一个具有3个大分支的参天大树[在这里主要写写关于gpt的那些事。原创 2023-10-24 15:47:00 · 1209 阅读 · 0 评论 -
GPT-1、GPT-2和GPT-3模型详解及其进化之路
原文[OpenAI gpt模型基于Transformer的语言模型,其利用Transformer的decoder结构来进行单向语言模型的训练。GPT的核心思想是先通过无标签的文本去训练生成语言模型,再根据具体的NLP任务(如文本蕴涵、QA、文本分类等),来通过有标签的数据对模型进行fine-tuning。文中所用的网络结构如下:。原创 2020-09-22 23:27:17 · 3355 阅读 · 1 评论 -
InstructionGPT
之前是写在[]里的,抽出来单独讲一下。InstructGPT/ChatGPT都是采用了GPT-3的网络结构,通过指示学习构建训练样本来训练一个反应预测内容效果的奖励模型(RM),最后通过这个奖励模型的打分来指导强化学习模型的训练。:先采样一些demonstration数据,其包括prompt和labeled answer。基于这些标注的数据,对GPT-3进行fine-tuning,得到SFT(Supervised Fine-tuning);即使用采集的新数据,按照GPT-3的训练方式对GPT-3进行微调。原创 2023-10-26 11:37:55 · 855 阅读 · 0 评论 -
LLM:提示学习Prompt Learning
Pre-training + Fine-tuning 模式:先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型(Pre-trained Language Model,PLM)(e.g. GPT、EMLO、BERT),然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调(Fine-tuning),以获得适应下游任务的模型。缺陷:在大多数的下游任务微调时,下游任务的目标与预训练的目标差距过大导致提升效果不明显,微调过程中依赖大量的监督语料等。原创 2023-04-23 21:41:38 · 5556 阅读 · 1 评论 -
LLM:LLaMA模型和微调的Alpaca模型
模型就是用的transformer的decoder,模型设计的不同点在于原创 2023-05-31 16:26:15 · 1614 阅读 · 1 评论 -
LLM:参数有效性学习——LoRA模型
随着模型规模的不断扩大,微调模型的所有参数(所谓full fine-tuning)的可行性变得越来越低。以GPT-3的175B参数为例,每增加一个新领域就需要完整微调一个新模型,代价和成本很高。为解决微调大规模语言模型到不同领域和任务的挑战,已有多种方案,比如部分微调、使用adapters和prompting。原创 2023-05-31 22:43:14 · 2049 阅读 · 0 评论 -
LLM:大模型的正则化
主流大模型使用的Normalization主要有三类,分别是Layer Norm,RMS Norm,以及Deep Norm。小模型的正则化参考:l1l2正则和dropout正则化[LN和BN归一化 [原创 2023-05-30 22:48:58 · 2813 阅读 · 0 评论 -
LLM:预训练语言模型的评估
语言模型下游任务:语言模型下游任务是指在特定任务上使用预训练语言模型进行微调,以便更好地适应该任务。通常,如果预训练语言模型在下游任务上表现良好,则说明该模型具有较好的泛化能力和语言理解能力。人类评估:人类评估是指通过人工判断预训练语言模型生成的文本是否符合语法、逻辑和语义等方面的要求。困惑度(Perplexity):困惑度是一种常用的评估语言模型的方法,它可以用来衡量模型对新数据的预测能力。训练效率和存储空间:除了以上几个方面,评估预训练语言模型的优劣还需要考虑其训练效率和存储空间等因素。原创 2023-06-12 11:52:10 · 1352 阅读 · 0 评论 -
LLM:Transformers 库
Transformers 库是一个开源库,其提供的所有预训练模型都是基于 transformer 模型结构的。Transformers 库支持三个最流行的深度学习库(PyTorch、TensorFlow 和 JAX)。我们可以使用 Transformers 库提供的 API 轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本,以及节省从头开始训练模型的时间。这些模型可用于不同模态的任务,例如:文本:文本分类、信息抽取、问答系统、文本摘要、机器翻译和文本生成。图像:图像分类、目标检测和图像分割。原创 2023-06-02 11:55:36 · 5028 阅读 · 1 评论 -
LLM:huggingface-datasets库
datasets是huggingface维护的一个轻量级可扩展的数据加载库,其兼容pandas、numpy、pytorch和tensorflow,使用简便。根据其官方简介:Datasets originated from a fork of the awesome TensorFlow Datasets,datasets是源自于tf.data的,两者之间的主要区别可参考这里。原创 2023-06-11 11:55:28 · 2021 阅读 · 0 评论 -
LLM:finetune预训练语言模型
用的模型AutoModelForCausalLM[examples/pytorch/language-modeling#gpt-2gpt-and-causal-language-modeling][examples/pytorch/language-modeling/run_clm.py]示例:[colab.research.google.com/Causal Language modeling][examples/pytorch/language-modeling#robertabertdistilber原创 2023-06-12 15:49:36 · 1641 阅读 · 0 评论 -
LLM:预训练语言模型finetune下游任务
🤗还要安装= 0.1.92scipyprotobufevaluate。原创 2023-06-13 17:42:54 · 1366 阅读 · 0 评论 -
LLM:Transformers模型推理和加速
pipeline() 的作用是使用预训练模型进行推断。不同类型的任务所下载的默认预训练模型可以在 Transformers 库的源码]中的 SUPPORTED_TASKS 定义。原创 2023-07-03 17:27:06 · 3070 阅读 · 0 评论