LLM就是一个逃课的大学生

最新推荐文章于 2024-08-10 23:41:04 发布
最新推荐文章于 2024-08-10 23:41:04 发布
阅读量34 收藏
点赞数
文章标签： 深度学习 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenhong007/article/details/135051555
版权

LLM就像是一个逃课的大学生，期末考试要挂科了怎么办？
prompt是解题技巧；
RAG是开卷考试；
考试就剩两三天了，属于临阵磨枪不快也光的类型。

context是短时记忆力，fine-tune是补充教材和辅导书。训练数据是大纲和官方教材，function call是允许带计算器，最牛逼的是Agent,可以访问互联网。

各个大模型比拼的是谁的题库全，谁能撞大运找到的题目和考试题目相近。

可是：大学毕业了，LLM大模型学会再多的没用啊，实践的时候才发现，那些paper都是在灌水的。

AI星球
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
LLM大模型中文开源数据集集锦（三）
素质云笔记
05-16 3852
头两篇在写【】和【然后笔者自己也测试了一把ChatGLM的P-Tuning V2在【】感觉。
大模型（LLM）的token学习记录-I
penriver的博客
02-27 2250
在 LLM 中，token代表模型可以理解和生成的最小意义单位，是 LLM 进行处理的最小单元。根据所使用的特定标记化【Tokenization】方案，token可以表示单词、单词的一部分，甚至只表示字符。采用的方案由模型的类型和大小决定token被赋予数值或标识符，并按序列或向量排列，并被输入或从模型中输出，是模型的语言构件。模型理解这些token之间的统计关系，并擅长做token的接龙token化是将输入和输出文本分割成可以由LLM AI模型处理的较小单元的过程。
大模型（LLM）的训练语料信息汇总
penriver的博客
03-03 7333
大模型的训练，大规模的语料是很重要的 大型语言模型在许多自然语言处理任务上取得了显著进展，研究人员正在转向越来越大的文本语料库进行训练 大多数基于Transformer的大型语言模型 (LLM) 都依赖于英文维基百科和Common Crawl、C4、Github的4个大型数据集。这几个数据集是最常用的，基本上大部分大模型训练过程都会使用到，其中CommonCrawl的数据集比较大，而wiki Pedia的数据集比较规整相对来说比较少
大模型（LLM）的量化技术Quantization原理学习
penriver的博客
03-02 7968
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生 本文记录针对量化技术原理的学习
【LLM】大模型中的温度系数是啥玩意
发现问题，并解决问题，批判性思维
07-14 3782
LLM中的温度系数 - temperature参数控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率； - 其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化 - 举例：Prompt: “The quick brown fox” - Temperature = 0.1: “The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the
大模型笔记【2】 LLM in Flash
Keep Fighting!
01-08 1382
但是Flash带宽较低，LLM in Flash通过尽量减少从Flash中加载参数的数量，优化在DRAM中的内存管理，实现在Flash带宽有限的条件下提高计算速度的目的。上图左侧是如何在aggregated usage和incremental transfer中保持平衡，window设置的越大，每次新需要加载neruon也就越少，但是需要在memory中累计保存的空间占用的也就越大。2. 预测Relu层的稀疏性。上图右侧为一个window size为5的示意图，粉色的是要删除的元素，蓝色的是新加入的元素。
欢迎学习面向开发者的大模型手册 - LLM Cookbook
叶庭云 成为自己的光
03-18 2316
欢迎学习面向开发者的大模型手册 - LLM Cookbook
《深入浅出LLM基础篇》（一）：大模型概念与发展
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-04 2857
作者推出全新系列《深入浅出LLM》专栏，将分为基础篇、进阶篇、实战篇等，本文为基础篇具体章节如导图所示（导图为常见LLM问题，导图专栏后续更新！），将分别从各个大模型模型的概念、经典模型、创新点、微调、分布式训练、数据集、未来发展方向、RAG、Agent及项目实战等各种角度展开详细介绍，欢迎大家关注。
大型语言模型 (LLM)全解读
FeelTouch Labs
01-23 9617
大型语言模型 是一种深度学习算法，可以执行各种自然语言处理 (NLP) 任务。大型语言模型底层使用多个转换器模型底层转换器是一组神经网络。大型语言模型是使用海量数据集进行训练的超大型深度学习模型。这也是它们能够识别、翻译、预测或生成文本或其他内容的强大基础所在。因此大型语言模型也称为神经网络 (NN)，是受人类大脑启发而开发出的计算系统。这些神经网络利用分层的节点网络工作，就像神经元一样。这些神经网络由具有自注意力功能的编码器和解码器组成。
【LLM】Prompt tuning大模型微调实战
发现问题，并解决问题，批判性思维
07-10 7683
- 给出好的prompt可以让LLM生成更好的答案，反过来想通过LLM帮我们找到好的prompt就是prompt tuning的思路，训练让模型看到新的例子生成prompt，并把该段prompt作为前缀拼接到我们自己的prompt上，送入LLM得到结果 - prompt tuning训练的前缀是向量，所以解释性略差 - 和few show比较：LLM的上下文context长度是有限的（prompt中给出有限的例子，业务复杂时难让模型学习足够多知识），prompt tuning就没有这个限制，只需在训练
一个基于 Java 的 LLM（大语言模型）应用开发框架
06-29
Java大语言模型应用开发框架是现代信息技术领域中的一个重要组成部分，特别是在人工智能和自然语言处理(NLP)的范畴内。这个框架的出现，使得开发者能够利用Java这一广泛使用的编程语言，更高效地构建和部署LLM（大...
LLM大模型测试训练语料数据
03-15
第一种类型是通用的预训练语料库，它由来自不同领域和主题的大规模文本数据混合组成。这些数据通常包括来自互联网的文本内容，例如新闻、社交媒体、百科全书等。目标是为NLP任务提供通用的语言知识和数据资源。
推荐系统(RS)与大模型(LLM)的结合
11-21
推荐系统（RS）和大模型（LLM）的结合是当前热门的研究方向之一。随着大型语言模型（LLMs）的出现，学术界和业界开始探索LLMs在推荐系统中的应用，以提高推荐系统的效力和智能程度。 推荐系统的背景是，传统的协同...
大模型该被知道的技术实现-LLM
10-31
LLM+技术发展+技术实现+xmind清晰思路。帮助快速理清大模型实现需要的技术，快速定位自身实现大模型需要的基础能力及如何微调，如何进行思维链提示，即如何进行IT、COT等工作。
最全的开源 LLM （大语言模型）整理.zip
09-04
本资源包“最全的开源 LLM （大语言模型）整理.zip”是关于开源大语言模型的一个综合集合，涵盖了多个知名的项目，帮助开发者和研究人员更好地了解和利用这些先进的技术。 【描述】: 这个压缩包包含了一个名为...
(BO)Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码
small_ccb的博客
08-08 314
Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码。2️⃣、评价指标包括:R2、MAE、MSE、RMSE等，图很多，符合您的需要。4️⃣、赠送测试数据集，可以直接运行源程序。替换你的数据即可用 适合新手小白。1️⃣、运行环境要求MATLAB版本为2018b及其以上。数据格式为excel！3️⃣、代码中文注释清晰，质量极高。需要其他的都可以定制！
[Pytorch案例实践009]基于卷积神经网络和通道注意力机制的草莓生长阶段分类实战
最新发布
2403_83044722的博客
08-10 1039
基于卷积神经网络和空间注意力机制的图像分类实战
深度学习 —— 个人学习笔记14（ResNet、DenseNet）
Springer的博客
08-06 433
本文章为个人学习使用，版面观感若有不适请谅解，文中知识仅代表个人观点，若出现错误，欢迎各位批评指正。文中部分知识参考：B 站 —— 跟李沐学AI；
【深度学习】【语音】TTS，Matcha-TTS，测试效果，训练中文，chinese
q742971636的博客
08-08 179
即使使用较小的数据集（特别是如果这是一个录音棚录制的朗读语料库），也可以有效。然而，在这种情况下，微调通常会比从头开始训练效果更好，因此，你可以先在更大的数据集上进行训练，然后对你的特定数据集进行微调。一般来说，我更倾向于将所有音频文件重新采样到 22050 采样率，而不是更改音频参数，因为这样可以解决寻找不同声码器的问题。（同样，我没有在大多数其他数据集上进行训练的经验，但你可以在这里更改音素化语言。中添加的步骤为你的数据集生成均值和标准差（以便更好的标准化）。的默认值，并覆盖你特定数据集所需的部分。
大语言模型LLM：理解、发展与应用
大语言模型（Large Language Model，LLM）是现代人工智能领域的重要组成部分，它的出现极大地推动了自然语言处理（NLP）的进步。这些模型通过深度学习技术，尤其是神经网络架构，如循环神经网络（RNN）、长短时记忆...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值