LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)

已于 2023-08-22 23:46:28 修改
阅读量2.9w 收藏 312
点赞数 39
分类专栏： 大模型与ChatGPT系列：原理、论文、代码、应用 文章标签： ChatGPT 大模型论文 多模态论文
于 2023-03-13 21:54:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/v_JULY_v/article/details/129508065
版权

目录

前言

第一部分 OpenAI/Google的基础语言大模型(11篇，总11篇)

第二部分 LLM的关键技术：ICL/CoT/RLHF/词嵌入/位置编码/加速/与KG结合等(34篇，总45篇)

第三部分 Meta等公司发布的类ChatGPT开源模型和各种微调(7篇，总52篇)

第四部分 具备多模态能力的大语言模型(11篇，总63篇)

第五部分 AI绘画与多模态能力背后的核心技术(21篇，总84篇)

第六部分 预训练模型的发展演变史(3篇，总87篇)

第七部分 垂域版类ChatGPT(比如医疗GPT)和其它(11篇，总98篇)

前言

按上篇文章《ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT-N、instructGPT》的最后所述

为了写本ChatGPT笔记，过去两个月翻了大量中英文资料/paper(中间一度花了大量时间去深入RL)，大部分时间读的更多是中文资料

2月最后几天读的更多是英文paper，正是2月底这最后几天对ChatGPT背后技术原理的研究才真正进入状态(后还组建了一个“ChatGPT之100篇论文阅读组”，我和10来位博士、业界大佬从23年2.27日起读完ChatGPT相关技术的100篇论文，如果你想加入100篇论文阅读组，可戳此链接)，当然 还在不断深入，由此而感慨： 

  1. 读的论文越多，你会发现大部分人对ChatGPT的技术解读都是不够准确或全面的，毕竟很多人没有那个工作需要或研究需要，去深入了解各种细节
  2. 因为半年内100篇这个任务，让自己有史以来一篇一篇一行一行读100篇，​之前看的比较散 不系统 抠的也不细
    比如回顾“Attention is all you need”这篇后，对优化博客内的Transformer笔记便有了很多心得

总之，读的论文越多，博客内相关笔记的质量将飞速提升 自己的技术研究能力也能有巨大飞跃

且考虑到为避免上篇文章篇幅太长而影响完读率，故把这100篇(后增至150篇)论文的清单抽取出来独立成本文

第一部分 OpenAI/Google的基础语言大模型(11篇，总11篇)

  1. Improving Language Understanding by Generative Pre-Training
    GPT原始论文

  2. Language Models are Unsupervised Multitask Learners
    GPT2原始论文

  3. Language Models are Few-Shot Learners
    GPT3原始论文

  4. Training language models to follow instructions with human feedback
    InstructGPT原始论文
  5.  Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
    19年10月，Google发布T5模型(transfer text to text transformer)，虽也基于transformer，但区别于BERT的编码器架构与GPT的解码器架构，T5是transformer的encoder-decoder架构，这是解读之一 的
    用的750G的训练数据，其训练方法则为：BERT-style的MASK法/replace span(小段替换)/Drop法，以及类似BERT对文本的15%做破坏、且replace span时对3的小段破坏
  6. LaMDA: Language Models for Dialog Applications
    论文发布于22年1月，显示LaMDA的参数高达137B，用的transformer decoder架构，这是简要解读之一
    21年5月，Google对外宣布内部正在研发对话模型LaMDA，基于transformer decoder架构，在微调阶段 使用58K的对话数据，过程类似真人的对话过程，给定一个Query，比如 How old is Rafael Nadal? ，如果人知道答案，那么直接回答35岁即可，如果不知道，则需要去 Research 一下，借助搜索引擎找到答案，然后再回答35岁
  7. 《Finetuned Language Models Are Zero-Shot Learners》
    21年9月，Google提出FLAN大模型，其基于LaMDA-PT做Instruction Fine-Tuning
    FLAN is the instruction-tuned version of LaMDA-PT
  8. PaLM: Scaling Language Modeling with Pathways
    22年3月，Google的Barham等人发布了Pathways系统，用于更高效地训练大型模型
    Pathways 的愿景 —— 一个很接近人脑的框架：一个模型，可以做多任务，多模态
    且在做任务时，只是 sparsely activated，只使用一部分的参数

    22年4月，Google发布PaLM模型，基于Transformer decoder架构，参数规模最大的版本达到惊人的5400亿参数(8B 62B 540B)，使用multi-query注意力、SwiGLU激活函数以及RoPE位置嵌入，这是翻译之一
    且在每个Transformer块中使用 "平行 "表述(Wang & Komatsuzaki,2021)
    是Google的Pathways架构或OpenAI GPT2/3提出的小样本学习的进一步扩展

    PaLM首次展示了Pathways的大规模使用——能够以高效的方式在数千或数万个加速器芯片上训练一个模型
    具体来说，通过Pathways，PaLM 540B在两个通过数据中心网络连接的TPU v4 Pod上训练，使用模型和数据并行的组合，在每个Pod中使用3072个TPU v4芯片，连接到768台主机，能够有效地将训练扩展到6144个芯片，而不需要使用任何pipeline并行，其效率水平是以前这种规模的模型所不能达到的

    以前的大多数大型语言模型
    \rightarrow  要么是在单个TPU系统上训练的(比如GLaM by Du等人2021年，LaMDA by Thopilan等人)
    \rightarrow  要么是使用由Huang等人在2019年提出的pipeline并行，从而在GPU集群(Megatron-Turing NLG 530B by Smith等人2022年)，或多个TPU v3 pod(Gopher by Rae等人2021年)上扩展，最大规模为4096个TPU v3芯片

    另，在自然语言、代码和数学推理等任务中表现的都很不错
    此外，预训练数据集由一个7800亿个token组成的语料库，该数据集是由过滤过的网页(占比27%)、书籍(占比13%)、Wikipedia(占比4%)、新闻文章(占比1%)、Github源代码(占比5%，包括Java、HTML、Javascript、Python、PHP、C#、XML、C++和C，总计196GB的源代码)，和社交媒体对话(占比50%)组成的，这个数据集是也用于训练LaMDA和GLaM

  9.  Constitutional AI: Harmlessness from AI Feedback
    OpenAI之前一副总裁离职搞了个ChatGPT的竞品，ChatGPT用人类偏好训练RM再RL(即RLHF)，Claude则基于AI偏好模型训练RM再RL(即RLAIF) 

  10. Improving alignment of dialogue agents via targeted human judgements
    DeepMind的Sparrow，这个工作发表时间稍晚于instructGPT，其大致的技术思路和框架与 instructGPT 的三阶段基本类似，但Sparrow 中把奖励模型分为两个不同 RM 的思路

  11.  GPT-4 Technical Report
    增加了多模态能力的GPT4的技术报告

第二部分 LLM的关键技术：ICL/CoT/RLHF/词嵌入/位置编码/加速/与KG结合等(38篇，总49篇)

  1.  Attention Is All You Need
    Transformer原始论文

  2. Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?

  3. Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers
    代码地址，这篇文章则将ICL看作是一种隐式的Fine-tuning，这是对该篇论文的解读之一

  4. A Survey on In-context Learning

  5. Noisy Channel Language Model Prompting for Few-Shot Text Classification ~ https://arxiv.org/pdf/2108.04106.pdf

  6. MetaICL: Learning to Learn In Context ~ https://arxiv.org/pdf/2110.15943.pdf

  7. https://github.com/dqxiu/ICL_PaperList
     in-context learning 研究梳理
    In-Context Learning到底有没有Learning？

  8. Evaluating Large Language Models Trained on Code
    Codex原始论文
    预测当前序列的最后一个词时 可以选取概率最大的词(softmax最高的值)，但没法全局最优且不具备多样性，当然 可以使用束搜索 一次性获取多个解
    论文中用的是核采样，预测的各个词根据概率从大到小排序，选取前些个概率加起来为95%的词

  9. Meta-learning via Language Model In-context Tuning

  10. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
    28 Jan 2022 · Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou
    CoT原始论文
    也从侧面印证，instructGPT从22年1月份之前 就开始迭代了

  11. Large Language Models are Zero-Shot Reasoners
    来自东京大学和谷歌的工作，关于预训练大型语言模型的推理能力的探究，“Let's think step by step”的梗即来源于此篇论文

  12. Emergent Abilities of Large Language Models
    Google 22年8月份发的，探讨大语言模型的涌现能力

  13. Multimodal Chain-of-Thought Reasoning in Language Models
    23年2月，亚马逊的研究者则在这篇论文里提出了基于多模态思维链技术改进语言模型复杂推理能力的思想

  14. TRPO论文

  15. Proximal Policy Optimization Algorithms
    2017年，OpenAI发布的PPO原始论文，在理解过程中有时会问下GPT4，感叹GPT4的细节能力 虽经常不是很严谨 但细节能力是真6
  16. RLHF原始论文
  17. Scaling Instruction-Finetuned Language Models
    微调PaLM-540B(2022年10月)
    从三个方面改变指令微调，一是改变模型参数，提升到了540B，二是增加到了1836个微调任务，三是加上Chain of thought微调的数据
  18. The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
  19. Fine-Tuning Language Models from Human Preferences
    这是论文对应的代码：微调GPT2
  20. LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
    LoRA论文
  21. Prefix-Tuning: Optimizing Continuous Prompts for Generation
    新增Prefix Tuning论文
  22. GPT Understands, Too​​​​​​​
    p-tuning V1论文

  23. Distributed Representations of Sentences and Documents
     Mikolov首次提出 Word2vec

    Efficient estimation of word representations in vector space
     Mikolov专门讲训练 Word2vec 中的两个trick：hierarchical softmax 和 negative sampling

  24. word2vec Explained- Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method
    Yoav Goldberg关于word2vec的论文，对 negative-sampling 的公式推导非常完备

    word2vec Parameter Learning Explained
    Xin Rong关于word2vec的论文，非常不错

  25. ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
    旋转位置嵌入(RoPE)论文，这是作者本人对它的解读

  26. Linearized Relative Positional Encoding
    统一了适用于linear transformer的相对位置编码

  27. SEARCHING FOR ACTIVATION FUNCTIONS
    SwiGLU的原始论文

  28. 《The Natural Language Decathlon:Multitask Learning as Question Answering》
    GPT-1、GPT-2论文的引用文献，Salesforce发表的一篇文章，写出了多任务单模型的根本思想
  29. Large language models are zero-shot reasoners. arXiv preprint arXiv:2205.11916, 2022
  30. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
    ZeRO是微软deepspeed的核心，这是关于ZeRO的解读之一
  31. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
    Megatron-LM 论文原始论文
    对相关技术的解读：千亿参数开源大模型 BLOOM 背后的技术
  32. Efficient sequence modeling综述
    包含sparse transformer、linear transformer(cosformer，transnormer）
    RNN(RWKV、S4)，Long Conv(TNN、H3）
  33. Vicuna tackle the memory pressure by utilizing gradient checkpointing and flash attention
    Training Deep Nets with Sublinear Memory Cost
  34. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
  35. Unifying Large Language Models and Knowledge Graphs: A Roadmap
    LLM与知识图谱的结合实战
  36. Fast Transformer Decoding: One Write-Head is All You Need
    Muti Query Attention论文，MQA 是 19 年提出的一种新的 Attention 机制，其能够在保证模型效果的同时加快 decoder 生成 token 的速度，这是其解读之一
  37. GQA: Training Generalized Multi-Query Transformer Models fromMulti-Head Checkpoints
    Grouped-Query Attention论文
  38. Flashattention: Fast and memory-efficient exact attention with io-awareness
    Flash Attention论文，这是其解读之一

第三部分 Meta等公司发布的类ChatGPT开源模型和各种微调(7篇，总56篇)

  1. LLaMA: Open and Efficient Foundation Language Models
    2023年2月24日Meta发布了全新的65B参数大语言模型LLaMA，开源，大部分任务的效果好于2020年的GPT-3
    这是针对该论文的解读之一

  2. SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions
    代码地址，解读1、解读2
    3月中旬，斯坦福发布Alpaca：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型
    而斯坦福团队微调LLaMA的方法，便是来自华盛顿大学Yizhong Wang等去年底提出的这个Self-Instruct

    具体而言，论文中提出，首先从自生成指令种子集中的175个人工编写的「指令-输出」对开始，然后，提示text-davinci-003使用种子集作为上下文示例来生成更多指令
    而斯坦福版Alpaca，就是花了不到500美元使用OpenAI API生成了5.2万个这样的示例微调LLaMA搞出来的

  3. Alpaca: A Strong Open-Source Instruction-Following Model

  4. Opt: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022

  5. BLOOM: A 176B-Parameter Open-Access Multilingual Language Model


  6. GLM: General Language Model Pretraining with Autoregressive Blank Infilling
    2022年5月，正式提出了GLM框架
  7. GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL，代码地址
    GLM-130B便是基于的GLM框架的大语言模型

第四部分 具备多模态能力的大语言模型(11篇，总67篇)

  1. BEiT: BERT Pre-Training of Image Transformers

  2. BEiT-2: Masked Image Modeling with Vector-Quantized Visual Tokenizers

  3. Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
    这是针对该论文的解读之一
    2022年8月，微软提出的多模态预训练模型BEiT-3

  4.  Language Is Not All You Need: Aligning Perception with Language Models
    微软23年3月1日发布的多模态大语言模型Kosmos-1的论文
  5. PaLM-E: An Embodied Multimodal Language Model(论文地址)
    Google于23年3月6日发布的关于多模态LLM：PaLM-E，可让能听懂人类指令且具备视觉能力的机器人干活
  6. Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
    微软于23年3月8日推出visual ChatGPT(另，3.9日微软德国CTO说，将提供多模态能力的GPT4即将一周后发布)
    At the same time, Visual Foundation Models, such as Visual Transformers or Stable Diffusion, although showing great visual understanding and generation capabilities, they are only experts on specific tasks with one round fixed inputs and outputs. 

    To this end, We build a system called {Visual ChatGPT}, incorporating different Visual Foundation Models, to enable the user to interact with ChatGPT by 
    1) sending and receiving not only languages but also images 
    2) providing complex visual questions or visual editing instructions that require the collaboration of multiple AI models with multi-steps. 
    3) providing feedback and asking for corrected results. 

    We design a series of prompts to inject the visual model information into ChatGPT, considering models of multiple inputs/outputs and models that require visual feedback

  7. MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
    minigpt-4的介绍页面、GitHub

  8. ​Flamingo: a visual language model for few-shot learning
  9. Tensor programs v: Tuning large neural networks via zero-shot hyperparameter transfer. arXiv preprint arXiv:2203.03466, 2022
  10. Language models are unsupervised multitask learners. 2019
  11. Improving language understanding by generative pre-training. 2018

第五部分 AI绘画与多模态能力背后的核心技术(21篇，总88篇)

  1. End-to-End Object Detection with Transformers
    DETR by 2020年5月，这是针对DETR的解读之一

    回顾下20年之前的模型提出史(我18年写过一篇：一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD)
    2014 R-CNN
    2015 Fast R-CNN、Faster R-CNN
    2016 YOLO、SSD
    2017 Mask R-CNN、YOLOv2
    2018 YOLOv3
    2019 CenterNet
    2020 DETR

    20年之后，CV迎来了生成式下的多模态时代『我也正在写这个系列博客，AI绘画与CV多模态原理解析：VAE、扩散模型DDPM、DETR、ViT/Swin transformer、CLIP/BLIP到stable diffusion、GPT4(后者待5月中旬发布)』
    2020年
    \rightarrow  6月 DDPM
    \rightarrow 10月 DDIM、Vision Transformer
    2021年
    \rightarrow  1月 CLIP、DALL·E
    \rightarrow  3月 Swin Transformer
    \rightarrow  11月 MAE、Swin Transformer V2
    2022年
    \rightarrow  1月 BLIP
    \rightarrow  4月 DALL·E 2
    \rightarrow  8月 Stable Diffusion、BEiT-3
    2023年
    \rightarrow  1月 BLIP2
    \rightarrow  3月 Visual ChatGPT、GPT-4
  2. AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION A​​​​​​T SCALE
    发表于2020年10月的Vision Transformer原始论文，代表Transformer正式杀入CV界
  3. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows，发表于21年3月
    解读戳这
  4. Swin Transformer V2: Scaling Up Capacity and Resolution
    解读戳这里
  5. Auto-Encoding Variational Bayes
    苏剑林关于VAE的解读之一，这是另外一个作者：基于苏这个VAE的解读对扩散模型的理解
    WGAN
  6. Denoising Diffusion Probabilistic Models
    2020年6月提出DDPM，即众人口中常说的diffusion model
    这是苏剑林关于DDPM的相对通俗的系列解读，这是另一份解读：What are Diffusion Models?(该解读的中文笔记)
  7. Diffusion Models Beat GANs on Image Synthesis
    使用classifier guidance的方法，引导模型进行采样和生成
  8. High-Resolution Image Synthesis with Latent Diffusion Models

    2022年8月发布的Stable Diffusion基于Latent Diffusion Models，专门用于文图生成任务
    这些是相关解读：图解stable diffusion(翻译版之一)、这是另一解读，这里有篇AI绘画发展史的总结

    Stable Diffusion和之前的Diffusion扩散化模型相比, 重点是做了一件事, 那就是把模型的计算空间，从像素空间经过数学变换，在尽可能保留细节信息的情况下降维到一个称之为潜空间(Latent Space)的低维空间里，然后再进行繁重的模型训练和图像生成计算

  9. ​Aligning Text-to-Image Models using Human Feedback，这是解读之一
    ChatGPT的主要成功要归结于采用RLHF来精调LLM，近日谷歌AI团队将类似的思路用于文生图大模型：基于人类反馈（Human Feedback）来精调Stable Diffusion模型来提升生成效果
    目前的文生图模型虽然已经能够取得比较好的图像生成效果，但是很多时候往往难以生成与输入文本精确匹配的图像，特别是在组合图像生成方面。为此，谷歌最新的论文提出了基于人类反馈的三步精调方法来改善这个问题
  10. CLIP: Connecting Text and Images - OpenAI
    这是针对CLIP论文的解读之一
    CLIP由OpenAI在2021年1月发布，超大规模模型预训练提取视觉特征，图片和文本之间的对比学习(简单粗暴理解就是发微博/朋友圈时，人喜欢发一段文字然后再配一张或几张图，CLIP便是学习这种对应关系)

    2021年10月，Accomplice发布的disco diffusion，便是第一个结合CLIP模型和diffusion模型的AI开源绘画工具，其内核便是采用的CLIP引导扩散模型(CLIP-Guided diffusion model)
    且后续有很多基于CLIP的一系列改进模型，比如Lseg、GroupViT、ViLD、GLIP
  11. Zero-Shot Text-to-Image Generation
    DALL·E原始论文
  12. Hierarchical Text-Conditional Image Generation with CLIP Latents
    这是解读之一
    DALL·E 2论文2022年4月发布(至于第一代发布于2021年初)，通过CLIP + Diffusion models，达到文本生成图像新高度
  13. BLIP (from Salesforce) released with the paper BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation by Junnan Li, Dongxu Li, Caiming Xiong, Steven Hoi.

  14. BLIP-2 (from Salesforce) released with the paper BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models by Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi.

  15. InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
    23年5月发布的InstructBLIP论文，这是其解读之一

  16. LAVIS: A Library for Language-Vision Intelligence
    Salesforce开源一站式视觉语言学习框架LAVIS，这是其GitHub地址：https://github.com/salesforce/LAVIS

  17. MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models
    对各种多模态模型的评测，这是其解读之一

  18.  Segment Anything
    23年4.6日，Meta发布史上首个图像分割基础模型SAM，将NLP领域的prompt范式引进CV，让模型可以通过prompt一键抠图。网友直呼：CV不存在了!

  19. A Comprehensive Survey on Segment Anything Model for Vision and Beyond
    对分割一切模型SAM的首篇全面综述：28页、200+篇参考文献，这是其中文介绍链接

  20.  Fast Segment Anything
    中科院版的分割一切，这是FastSAM的解读之一 

  21. MobileSAM
    比SAM小60倍，比FastSAM快4倍，速度和效果双赢

第六部分 预训练模型的发展演变史(3篇，总91篇)

  1. A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT：https://arxiv.org/pdf/2302.09419
    预训练基础模型的演变史
  2. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
  3. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
    作者来自CMU的刘鹏飞，这是相关资源

    另一篇类似的，Pre-Trained Models: Past, Present and Future
    21年1月初在CCF启智会支持下，文继荣、唐杰和黄民烈三位老师召集了以预训练模型为主题的闭门研讨会，此后22位老师和同学经过近半年准备，共同形成了这篇43页的综述和观点文章 Pre-Trained Models: Past, Present and Future

第七部分 垂域版类ChatGPT(比如医疗GPT)和其它(10篇，总101篇)

  1. Large Language Models Encode Clinical Knowledge

    挺有意思的，从palm - flan palm(指令微调palm模型) - instruction prompt-tuned Flan-PaLM(提示指令调优flan-palm模型)的过程中，通过instruction prompt-tuned Flan-PaLM得到医疗问答模型med-palm，而提出了instruction prompt tuning的方法

    如下图所示，在Instruction prompt tuning中，微调的参数主要是"soft prompt vectors"，也就是软提示向量。这些向量通常被添加到输入的开始部分，作为一种"prompt"来引导模型的输出(这句话比较关键)，这些soft prompt vectors在训练过程中通过反向传播进行学习和调整，模型的其余部分（包括词嵌入参数和其他参数）通常保持冻结，不进行调整

    说白了，medpalm 就是在模型(flan palm)的输入层加了个提示向量，然后反向传播去微调这个提示向量..而这个提示向量的作用就是引导模型输出
    下图是论文中展示的提示示例(一些垂域版的类ChatGPT，比如chatdoctor 也是这种数据格式)

    故本质还是一个prompt learning，但为了让模型的输出更好 去微调prompt

    所以合起来成了：instruction prompt tuning
    相当于：fine tuning instruction prompt

    有点像：不用人工费力设计prompt，自动出prompt的感觉

    总之，在训练方法上
    通过对比40个样例下，模型的输出与参考QA，然后以此去fine tuning prompt，以激发模型更好的回答
    之后 通过7大医学数据集评估

    全程下来 并不涉及flan palm模型原本参数的更改，很6了

  2. Towards Expert-Level Medical Question Answering with Large Language Models
    继上篇论文提出medpalm之后，5月16日，Google Research和DeepMind发布了Med-PaLM 2，相比第一代最显著的改进是基座模型换成了Google的最新大模型PaLM2(据说有着340b参数，用于训练的token数达3.6万亿)

    重点提一下它的其中两个显著特点
    自我一致性    （Self-consistency）自我一致性(SC)是Wang等人提出的一种策略，通过从模型中采样多个解释和答案来提高多项选择基准测试上的性能。最终答案是得票最多(或相对多数)的答案。对于像医学这样复杂的推理路径域来说，正确答案可能有多种潜在的路径。边缘化推理路径可以得出最准确的答案。自我一致性提示策略对Lewkowycz等人[44]的工作产生了特别强的改进。在这项工作中，我们使用与Singhal等人相同的CoT提示进行11次采样的自我一致性

    集成精炼（Ensemble refifinement） 在思维链和自我一致性的基础上，我们开发了一种简单的提示策略，称为集成精炼(ER)。ER建立在其他技术的基础上，这些技术涉及在产生最终答案之前使LLM对其自己的生成进行条件设置，包括思维链提示和自我精炼
    ER涉及一个两阶段过程：首先，给定一个(少样本)思维链提示和一个问题，模型通过温度采样随机产生多个可能的生成。在这种情况下，每个生成都涉及对多项选择问题的解释和答案。然后，模型在原始提示、问题和前一步骤的连接生成的条件下，被提示产生精炼的解释和答案。这可以解释为自我一致性的推广，其中LLM正在聚合第一阶段的答案，而不仅仅是简单的投票，使LLM能够考虑它生成的解释的优点和缺点。
    在这里，为了提高性能,我们多次执行第二阶段，然后最终对这些生成的答案进行多数票投票，以确定最终答案。集成精炼如下图所示

  3. ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
    医疗ChatDoctor论文
  4. BloombergGPT: A Large Language Model for Finance
    金融BloombergGPT论文，这是其解读之一
  5. Deep Residual Learning for Image Recognition
    ResNet论文，短短9页，Google学术被引现15万多
    这是李沐针对ResNet的解读，另 这是李沐针对一些paper的解读列表

  6.  WHAT LEARNING ALGORITHM IS IN-CONTEXT LEARNING? INVESTIGATIONS WITH LINEAR MODELS

  7. Transformer-XL: Attentive language models beyond a fixed-length context
  8. An empirical analysis of compute-optimal large language model training
  9. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

  10. COLT5: Faster Long-Range Transformers with Conditional Computation

  11. Offsite-Tuning: Transfer Learning without Full Model

v_JULY_v
关注
  • 39
    点赞
  • 踩
  • 312
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
专栏目录
ChatGPT与Auto-GPT之间的区别
04-22
4 月 18 日——您可能很熟悉强大的语言模型 ChatGPT。以前的加密货币爱好者和忙碌的兄弟们现在对技术卓越的 AutoGPT 赞不绝口，该工具可以为您完成项目并通过几次简单的点击自动执行流程。 什么是自动 GPT？ Auto-GPT 是由开发人员 Toran Bruce Richards 创建的开源应用程序，它利用 ChatGPT 自动执行多组件项目。此类项目通常需要与 GPT-4 模型进行多次交换。 GitHub repo 页面上说，Auto-GPT 技术“将 LLM 的‘思想’链接在一起，以自主实现你设定的任何目标。” Auto-GPT 的工作原理 Auto-GPT 的运作方式与 ChatGPT 相同，但增加了运动功能。它将大型语言模型指令链接在一起，以实现指定的结果。该工具具有一定的决策权，可以在价值链的某些部分取代人工代理。  Auto-GPT 入门 Auto-GPT 需要一定程度的技术知识才能操作。它在 Python 上运行。它还需要 OpenAI 和 Pinecone API 密钥。然而，名为 AgentGPT 的应用程序可以提供类似的输出，但它不需要编程知识。 如果
万字综述梳理ChatGPT----一文搞懂弄潮儿ChatGPT技术原理、行业现状、投资前景
锴笑口常开的博客
02-19 2万+
万字综述梳理ChatGPT----一文搞懂弄潮儿ChatGPT技术原理、行业现状、投资前景随着计算机技术的飞速发展，人工智能已经成为当前最热门的研究领域之一。在人工智能领域中，自然语言处理是一个重要的分支。本文是笔者自学ChatGPT的自我总结与思考，类型为综述文章，适合想全面了解ChatGPT或对人工智能感兴趣的小伙伴。
LLM在多模态基于内容的推荐系统中的应用
11-21
LLM在多模态基于内容的推荐系统中的应用
为ChatGPT/ChatGLM/LLaMA/StableLM/MOSS等多种LLM提供了一个轻快好用的Web图形界面源码+教程
05-21
为ChatGPT/ChatGLM/LLaMA/StableLM/MOSS等多种LLM提供了一个轻快好用的Web图形界面。 使用System Prompt可以很有效地设定前提条件。 使用Prompt模板功能时，选择Prompt模板集合文件，然后从下拉菜单中选择想要的prompt。 如果回答不满意，可以使用 重新生成按钮再试一次 输入框支持换行，按 shift enter即可。 可以在输入框按上下箭头在输入历史之间切换 部署到服务器：在 config.json 中设置 "server_name": "0.0.0.0", "server_port": <你的端口号>,。 获取公共链接：在 config.json 中设置 "share": true,。注意程序必须在运行，才能通过公共链接访问。 在Hugging Face上使用：建议在右上角 复制Space 再使用，这样App反应可能会快一点。
私人ChatGPT/LLM Web 应用程序
01-14
一个开源、高性能的聊天机器人框架，支持语音合成、多模态和可扩展的函数调用插件系统。适合要开发私人聊天机器人的创业项目来作为基础框架起步。 支持一键免费部署您的私人 ChatGPT/LLM Web 应用程序，支持 docker镜像，一键部署，1分钟内完成，无需任何复杂的配置。支持具有视觉识别功能的 OpenAI 最新gpt-4-vision模型， 可以感知视觉的多模态智能。支持文本转语音 (TTS) 和语音转文本 (STT) 技术，使我们的应用程序能够将文本消息转换为清晰的语音输出， 允许用户与对话代理进行交互，就像他们在与真人交谈一样。支持插件模式的拓展，目前已经有一些比较成熟的应用插件在这个平台上。
ChatGPT｜必看 10 篇论文
03-18
AI 大火，ChatGPT 吸引了全球目光，作为AI浪潮中的一员，读读论文。 ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中 GPT 是 Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。
关于 ChatGPT 必看的 10 篇论文
热门推荐
u010280923的博客
02-10 7万+
2022年11月，OpenAI推出人工智能聊天原型ChatGPT，再次赚足眼球，为AI界引发了类似AIGC让艺术家失业的大讨论。ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中 GPT 是 Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。下面列出了学习 ChatGPT 必看的 10 篇论文。（ChatGPT 的简介可参考。
关于 ChatGPT 必看论文推荐【附论文链接】
AaronZZH 的博客
03-12 7909
ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。关于ChatGPT的十篇必看论文推荐
ChatDOC工具——使用ChatGPT高效阅读技术科研论文
weixin_40547993的博客
05-10 1万+
ChatDOC是一款功能强大的人工智能阅读辅助工具，专为帮助用户快速理解论文内容而设计。使用ChatDOC，您可以通过上传PDF版论文文献，利用先进的ChatGPT技术，只需三个简单步骤，便可以高效地阅读论文，提高阅读效率。
大语言模型 -- 部署LaWGPT模型记录
小菜鸟正洋洋的博客
06-19 1031
该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。注意，这一步需要使用huggingface上已经训练好的模型，我的服务器是新加坡地区访问可以正常下载，国内的服务器可能会出现下载卡顿，总共14G左右的模型。5、访问weui就可以体验这个法律模型了。
掌握文本到图像的扩散_重新捕获，规划和生成与多模态llm (PRG).zip
02-07
python chatgpt
从头开始逐步实现类似 ChatGPT 的 LLM
03-11
该存储库包含用于编码、预训练和微调类 GPT LLM 的代码，并且是《 Build a Large Language Model (From Scratch)》一书的官方代码存储库。 本项目中描述的用于训练和开发自己的小而实用的模型用于教育目的的方法反映了用于创建大型基础模型的方法，例如 ChatGPT 背后的模型。
ChatGPT商业应用-LLM是星辰大海
06-30
ChatGPT商业应用——LLM是星辰大海
《ChatGPT开发应用指南》，Datawhale开源了
04-23
随着ChatGPT的爆火，我们相信未来会有越来越多的大模型及类似OpenAI提供的服务出现，AI 正在逐渐平民化，将来每个人都可以利用大模型轻松地做出自己的AI产品。 HuggingLLM是一个面向非算法、有一定编程基础、对AI和ChatGPT（或类似模型）感兴趣的，基于ChatGPT API开发相关应用的开源项目。当然部分内容不需要任何编程经验也可以学习，算法工程师也可能从中受益。项目主要包括ChatGPT基础科普、ChatGPT实现各种NLP常见任务（相似匹配、句词分类、编辑生成、推理等大类）、ChatGPT局限和商业应用等内容。 项目名为 HuggingLLM，因为我们相信正在经历一个伟大的时代，我们相信这是一个值得每个人全身心拥抱的时代，我们更加相信这个世界必将会因此而变得更加美好。 从去年年底ChatGPT的发布以来，作为NLP（Natural Language Processing）一线从业人员已经感受到了巨大压力，我甚至觉得NLP工程师这个职位以后一定会消亡，至今这个观点依然不变。当时在见识了ChatGPT的各种逆天能力后，很自然地就会瞬间想到以后开发人员。。。
媲美CHatGPT4多模态图片的迷你Python开发的MiniGPT-4，在多模态方面可以媲美
01-24
MiniGPT-4，它仅使用一个投影层将冻结的视觉编码器与冻结的 LLM（Vicuna）对齐。 1、MiniGPT-4 拥有许多与 GPT-4 相似的功能，例如详细的图像描述生成和根据手写草稿创建网站。 2、 MiniGPT-4 中的其他新兴功能，包括受给定图像启发编写故事和诗歌、为图像中显示的问题提供解决方案、教用户如何根据食物照片烹饪等。 3、仅对原始图像-文本对进行预训练可能会产生缺乏连贯性的不自然语言输出，包括重复和支离破碎的句子。 在第二阶段策划了一个高质量、对齐良好的数据集，以使用对话模板来微调我们的模型。 事实证明，这一步骤对于增强模型的生成可靠性和整体可用性至关重要。 4、模型计算效率很高，因为我们仅利用大约 500 万个对齐的图像文本对来训练投影层。
高稳定性、支持插件、多模态的 ChatGPT QQ / QQ频道 / One Bot 机器人
最新发布
05-18
逆向工程 LLM 接入 ChatGPT网页版、New Bing、Claude、gpt4free 等逆向工程库 对话模型切换 支持通过命令在聊天环境中切换使用的模型 故事叙述和绘图 基于 Holara 的 AI 绘图插件 语音合成 文字转语音输出，支持 ...
LLM在电商多模态内容推荐系统的探索与实践
11-21
LLM在电商多模态内容推荐系统的探索与实践
chatgpt读论文
夕小瑶科技说
07-03 5232
在当今的数字化时代，人工智能(AI)正在颠覆我们的生活方式。OpenAI的GPT系列模型——尤其是最新一代的GPT-4和它的聊天机器人版本ChatGPT——是最近AI进步的显著代表。通过深度学习和海量数据训练，这些模型已经可以生成出色的人类般的文本。它们可以被用作工具来改变我们读论文的方式，使学术研究更高效。
一文读懂ChatGPT的前世今生（附相关论文下载）
ulucu888的博客
02-17 4276
从技术角度出发，立足基本概念和基础研究，循序渐进对ChatGPT及相关热点内容进行介绍
chatgpt与LLM什么关系
05-01
ChatGPT和LLM是两个不同的模型，它们之间没有直接的关系。ChatGPT是由OpenAI开发的基于GPT的聊天机器人，而LLM是由华为Noah's Ark实验室开发的基于语言模型的法律智能系统。虽然两个模型都是基于语言模型的，但它们的设计目的和应用场景都不同。ChatGPT旨在实现自然、流畅的人机交互，而LLM则旨在为法律领域提供自动化的智能化服务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

v_JULY_v

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值