不二人生
刀光剑影江湖情,摧枯拉朽浪滔滔。功名利禄拂衣去,山高水远路迢迢。一个上得了厅堂下得了厨房、左手写诗右手写词的男人
展开
-
ChatGPT基础知识系列之Embeddings模型
这一节主要介绍了ChatGPT的Embeddings模型,主要包括Embeddings 的发展历程和使用方式Embeddings 的使用场景Embedding可以作为其他机器学习模型的输入。原创 2023-04-16 10:55:56 · 42842 阅读 · 0 评论 -
ChatGPT基础知识系列之一文说透ChatGPT
ChatGPT是什么?既然ChatGPT是语言模型,语言模型是什么?通过强化学习训练,强化学习又是什么?ChatGPT一个问题是只能回答2021年前的问题。模型无法获取近期的知识,将ChatGPT+webGPT结合是一个可以想到的方案。DeepMind提出的Sparrow就是一个参考,Sparrow model针对对话内容模型生成结果并判断是否搜索互联网,以提供更多的正确参考答案,用强化学习算法去优化Sparrow的输出结果。原创 2023-04-06 10:29:05 · 40849 阅读 · 0 评论 -
ChatGPT基础知识系列之大型语言模型(LLM)初识
ChatGPT本质是一个对话模型,它可以回答日常问题、挑战不正确的前提,甚至会拒绝不适当的请求,在去除偏见和安全性上不同于以往的语言模型。ChatGPT从闲聊、回答日常问题,到文本改写、诗歌小说生成、视频脚本生成,以及编写和调试代码均展示了其令人惊叹的能力。在OpenAI公布博文和试用接口后,ChatGPT很快以令人惊叹的对话能力“引爆”网络,本文主要从技术角度,梳理ChatGPT背后涉及的技术工作LLM,来阐述其如此强大的原因;同时思考其对我们目前的实际工作和方法论的改变,包括可复用和可借鉴之处。Chat原创 2023-04-05 09:47:05 · 40613 阅读 · 0 评论 -
ChatGPT基础知识系列之Prompt
先在大规模语料上进行预训练,然后再在某个下游任务上进行微调,如BERT、T5;:先选择某个通用的大规模预训练模型,然后为具体的任务生成一个prompt模板以适应大模型进行微调,如GPT-3;:仍然在预训练语言模型的基础上,先在多个已知任务上进行微调(通过自然语言的形式),然后再推理某个新任务上进行zero-shot。指示学习的优点是它经过多任务的微调后,能够在其他任务上做zero-shot,而提示学习都是针对一个任务,泛化能力不如指示学习,InstructGPT和ChatGPT用到的都是指令微调了。原创 2023-04-04 18:11:08 · 42944 阅读 · 0 评论 -
ChatGPT基础知识系列之零样本学习( Zero-Short learning)
Zero-Short利用训练集数据训练模型,使得模型能够对测试集的对象进行分类,但是训练集类别和测试集类别之间没有交集;期间需要借助类别的描述,来建立训练集和测试集之间的联系,从而使得模型有效。原创 2023-04-04 09:56:53 · 41963 阅读 · 0 评论 -
ChatGPT基础知识系列之Transformer模型详解
Transformer 与 RNN 不同,可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的,因此需要在输入中添加位置 Embedding,否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构,其中用到的Q, K, V矩阵通过输出进行线性变换得到。原创 2023-03-31 10:51:46 · 39261 阅读 · 0 评论 -
ChatGPT基础知识系列之ChatGPT初识
Chat GPT源于OpenAI公司创造的一个大型语言预处理程序,名为GPT-2,GPT(Generative Pre-trained Transformer)是一个基于transformer架构的预训练语言模型,它是通过使用海量文本数据训练而成的可以自动产生文本序列的语言模型,能够生成高质量的自然语言文本。总结来说Chat GPT的技术细节主要包括基于GPT模型的神经网络架构、来自公共聊天文本数据的数据集基础和使用预训练模型进行迁移学习的模型训练方法。Chat GPT模型基于深度学习神经网络的架构。原创 2023-03-25 21:02:46 · 40811 阅读 · 0 评论 -
ChatGPT使用案例之Python使用ChatGPT
这一节我们主要介绍如何通过Python 使用ChatGPT,以及一个简单的代码示例,后面我们会详细介绍相关的参数,以及各个模型之间的区别。原创 2023-03-27 18:33:09 · 44809 阅读 · 0 评论 -
ChatGPT基础知识系列之模型介绍
这一节的主要内容如下:1. ChatGPT 的各个模型的对比和使用场景介绍2. ChatGPT的模型参数的介绍3. ChatGPT模型API 的使用介绍和兼容性介绍原创 2023-03-31 09:41:34 · 40730 阅读 · 0 评论