大模型学习笔记

最新推荐文章于 2024-06-07 10:29:21 发布
最新推荐文章于 2024-06-07 10:29:21 发布
阅读量238 收藏 4
点赞数 1
文章标签： 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adore_rui/article/details/138563445
版权

AIGC:AI gernerate content

强化学习：最大化奖励最小化损失

大语言模型

并不是所有的大语言模型都是AIGC

循环神经网络： 按顺序逐字处理，无法并行计算训练效率低下，无法处理长序列文本。难以捕获长距离的语义依赖性。

 LATM:长短期记忆网络，是RNN变体，

transform：自注意力机制

自注意力机制

 TRANSFORM架构

解码器： 

文本向量化输入嵌入层

带掩码的多头自注意力： 只分析句子前面的文本相关度，盖住后方内容。

多头自注意力：将输入融合入输出文本中 

 

优化即将输出的文本。 

 

 

调教GPT

  1. 可以用小样本提示
  2. 思维链，把计算过程提供给AI
  3. 直接加一句情分步骤思考

 武装GPT

  1. RAG检索增强生成

  2. PAL程序辅助语言模型

  3. REACT推理行动结合

Adore_rui
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ERGM模型学习笔记（一）
weixin_47614269的博客
02-28 2525
ERGM模型学习笔记（一）
深度学习：生成式模型学习笔记
qq_43711697的博客
07-05 3641
前言 本文主要记录在学习生成式模型时的一些关键知识点以及学习过程的笔记，若有错误之处还望指出并谅解。 一、生成模型 基于深度学习的生成式建模的方法主要有AE、VAE、GAN这三大种，其中VAE是基于AE的基础上进行变形的生成模型，而GAN是近年来较为流行并有效的生成式方法。 自编码器(AE)：AE主要由编码器和解码器组成，整个模型其实就相当于一个压缩解压的一个过程，编码器将真实数据进行压缩到低维隐空间中的隐向量，然后解码器将压缩的隐向量进行解压得到生成数据，当然在训练过程中会将生成数据和真实数据进行比较并
领域模型学习笔记
02-22
火龙果软件工程技术中心  对“领域模型”有“忽如一夜春风来”的感觉，太多书籍在谈它。将学习心得记录下来，与大家分享。什么是领域模型？领域模型是对领域内的概念类或现实世界中对象的可视化表示。又称概念模型、领域对象模型、分析对象模型。那什么是概念类呢？概念类是思想、事物或对象。这样的解释，仍然显得抽象。还是先看图吧！（图一）利用上图，我们可以从概念类的符号、内涵和外延三个方面来考虑。符号：表示概念类的词语或图形。内涵：概念类的定义。外延：概念类所适用的一组示例。对应于上图，我们使用符号Sale来表示购买交易事件的概念类；Sale的内涵可以陈述为“表示购买交易的事件，并且具有日期和时间”；Sale的
大模型学习笔记：汇总-国内13家大模型和体验地址
09-20
大模型学习笔记：汇总-国内13家大模型和体验地址
ChatGPT大模型学习笔记.rar
10-20
GPT的本质是把transformer的解码器拿出来，然后在没有标号的大量文本数据训练一个语言模型，来获得一个预训练模型，然后再用它在子任务上作微调。 - 在transformer出现后，GPT 把transformer的解码器拿出来成为了GPT这个模型。 - 之后BERT把transformer的编码器拿出来做成了BERT这个模型，BERT的基础模型对标的是GPT，在可学习参数规模基本一样的情况下，效果比GPT更好。BERT的large模型甚至比它的基础模型更好。 - 在之后又出现了GPT2和GPT3，技术路线基本不变（具体指依旧使用transformer的解码器），可学习参数和样本规模越变越大，效果也越来越好。 - GPT2的特点是适合做zero-shot，指的是模型在没有进行显式训练的情况下，能够对之前从未见过的类别或任务进行推理和泛化。传统上，模型只能在训练数据中出现过的类别上进行准确预测，而zero-shot学习推动了模型在未见示例的情况下进行预测的能力。 - GPT3的特点是是在后续子任务的训练上权重是不会改变的。主要原因是因为GPT3的可学习参数规模达到了千亿级别，在这个
AI大模型学习笔记整理
09-18
AI大模型是指具有大规模参数和复杂结构的人工智能模型。随着计算能力的不断提高和数据量的增大，AI大模型在自然语言处理、图像识别、语音识别等领域取得了重大的进展和成果。本笔记将介绍AI大模型的基本概念、发展历程以及应用场景。
ESM蛋白质语言模型学习笔记
热门推荐
qq_52778783的博客
04-13 1万+
ESM蛋白质语言模型学习笔记 二、内容概述 三、内容梳理 （一）ESM-1b模型 （二）MSA Transformer模型 （三）ESM-1v模型
Heckman模型学习笔记
qq_34995480的博客
05-18 6394
Heckman模型学习笔记 1、内生性 1.1 线性回归估计原理 我们做线性回归的时候，需要做一些假设，包括： 1）线性性 回归模型对参数而言是线性的，回归子Y和回归元X可以是非线性的。（估计参数本身就是一个随机变量，在进行估计时，X看为固定值，那么对应的条件均值Y与关系应该为线性的。参考logit y=bx) 2）重复抽样种，x视为固定 实际上，我们估计的是E(Y|X=X0)条件均值。 3）误差项（εε）之间独立同分布~N(0,），同y y=bx+ε,所以y与ε同态同方差。因此，ε的正态
unet模型学习笔记
qq_48345413的博客
11-08 2626
unet模型学习笔记 文章目录unet模型学习笔记前言一、模型图二、依据模型图搭建模型 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、模型图 二、依据模型图搭建模型 1.图中可以看出每层有两次卷积核，将图像输入后，进行两次卷积，每次卷积跟一个批归一化和激活函数激活 class DoubleConv(nn.Module):
MATLAB simulink 模型验证学习笔记
YOURUOLI的博客
06-21 2660
MATLAB simulink 模型验证学习笔记 观看中国汽车工程学会董淑成老师视频所作笔记
ResNet50模型学习笔记
m0_59324917的博客
05-18 5639
输入Input经过Resnet50到输出Output的5个阶段，共经过了50个层。其中Stage0较为简单，可以看作数据的预处理；后面的Stage1、Stage2、Stage3、Stage4都由Bottleneck组成，结构相似。 Stage0 Stage0较为简单，可以看作数据的预处理。（3，473，473）为输入的通道数（channel）、高（height）、宽（width），即（c,h,w）。先假设输入的高和宽相等，所以表示为（c，w，w） 该Stage中第1层包括3个先后操作： 1、CONV
动态gmm模型学习笔记2-面板模型
m0_45654065的博客
03-28 6516
用于经济预测的计量经济学结构模型一般可以分为两类：静态模型（即截面模型）、动态模型（即时间序列模型） 1. 静态模型与动态模型的异同点 1）共同点： 二者都是揭示变量之间因果关系的结构模型。在进行样本外预测时，都需要给定预测点（期）的解释变量，然后根据模型计算被解释变量的预测值，以及预测值的置信区间。 2）不同点： 静态模型以截面数据为样本，动态模型以时间序列数据为样本； 动态面板模型最主要的...
Elixir学习笔记——二进制、字符串和字符列表
chenxupest的专栏
06-04 704
在“基本类型”中，我们学习了一些关于字符串的知识，并使用 is_binary/1 函数进行检查："hello"true在本章中，我们将明确二进制到底是什么、它们与字符串的关系以及 Elixir 中单引号值“like this”的含义。虽然字符串是计算机语言中最常见的数据类型之一，但它们却非常复杂，经常被误解。要理解 Elixir 中的字符串，我们必须了解 Unicode 和字符编码，特别是 UTF-8 编码。
.netcore学习笔记
focus-unchanged-thing
06-07 95
net core和java运行性能对比。这个例子c#比java快了将近1倍。同时占用更少的内存，支持跨平台。所以做游戏用c#可能是更合适的。1..NET Core理论基础。
Diffusers代码学习-链式Inpainting
duhaining1976的博客
06-03 1027
AIGC研究及应用系列
【Docker学习】docker push简述
weixin_42206314的博客
06-04 437
docker push是docker pull的反向操作。我们将镜像上传到公共或私有镜像仓库就需要用到这个命令。
HOW - Lodash 使用指南和源码学习
weixin_58540586的博客
06-03 821
Lodash 是一个 JavaScript 实用工具库，提供了许多常用的函数方法，用于简化 JavaScript 编程中的常见任务。它提供了对数组、集合、对象、函数、字符串等数据类型的操作和处理方法，以及一些实用的辅助函数。
学习小心意——python的构造方法和析构方法
2201_75876277的博客
06-03 312
关于构造方法的玩法有很多，这里只是简单引用一下。小小分享，到此一游。构造方法和析构方法分别用于。
Paddle Graph Learning (PGL)图学习之图游走类deepwalk、node2vec模型[系列四]
最新发布
2401_85373396的博客
06-07 797
在开始介绍图游走算法之前，先来学习一下什么是Graph Embedding。图嵌入是一种将图数据（通常为高维稠密的矩阵）映射为低微稠密向量的过程，如下图所示。图嵌入需要捕捉到图的拓扑结构，顶点与顶点的关系，以及其他的信息 （如子图，连边等）。如果有更多的信息被表示出来，那么下游的任务将会获得更好的表现。向量空间中保持连接的节点彼此靠近。节点嵌入和图嵌入。当需要对节点进行分类，节点相似度预测，节点分布可视化时一般采用节点的嵌入；
笔记本 rtx3050 本地 大模型
02-29
RTX 3050 在本地大模型方面可以提供较好的性能支持，适用于进行深度学习、机器学习、图像处理等任务。 对于本地大模型的使用，需要注意以下几点： 1. 内存容量：大模型通常需要较大的内存来存储模型参数和计算中间...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值