大模型天花板

在深度学习中，Tensor 的形状变换是非常常见的操作。PyTorch 提供了丰富的 API 来帮助我们调整 Tensor 的形状，以满足模型输入、计算或数据处理的需求。本文将详细介绍 PyTorch 中常见的 Tensor 形状变换操作，并通过示例代码进行说明。

相比较PPO，GRPO（Group Relative Policy Optimization）的训练成本会更低，更简单。通俗的理解，当两个分布一致时，下面的公式第一项为 1，第二项为0，计算后总的值为0，即惩罚项为0。散度，避免训练后的模型输出分布与之前的分布相差太大。模型会在一组输出上更新几轮，我们训练的目标是更新。的概率高），这样模型的第一项结果就更大（我们需要最大化这个公式）。：如下，KL散度用于避免训练后模型的输出分布和原模型相差太大（通过奖励模型获得的奖励值。的一项是优化模型能输出更高优势。

使用下面这个文件，在8*H100的机器上训练了Qwen2.5-32B模型。上下文窗口8K，batch_size = 8（num_gpu）*2（per_gpu_batch_size）*8(gradient_accumulation_steps) =128，deepspeed采用zero3，显存占用约65G，内存占用约653G（还有数据占的显存，数据量为0.06B tokens），训练时长2 hour。使用下面这个文件，在8*H100的机器上训练了Qwen2.5-7B模型。

【代码】Python画好看的雷达图，全网开源代码最好看的。

【代码】linux批量解压tar.gz文件。

【代码】python读写json，json，parquet文件。

换成自己需要安装的包，虽然下面代码会递归下载依赖安装包，但是在离线环境下仍然可能会出现依赖包为配置问题。最后，把所有安装包移到离线电脑上的一个文件夹后，使用下面命令安装deb包。如果出现反配置问题，可以使用下面的命令自动反配置来强制安装某些包。主要针对离线环境的电脑安装deb包。所有安装包都不报错才能安装成功。

CLIP各个模型的性能比较图

【代码】简单方法判断一个字符串是中文还是英文的。

1.BitFit将模型的所有偏置bias设为可训练的参数，其他部分设置为不可训练的。将模型的所有注意力层Attention设为可训练的参数，其他部分设置为不可训练的。在模型的输入的prompt前面加入一个可训练Prompt embedding向量，模型的整个部分全部冻结，如下图。如果Prompt embedding向量参数是随机初始化的，则是soft prompt，如果使用一段文本初始化（例如，“下面是一个情感任务”），则是hard prompt。4.P-tuning。

Qwen2的各模型性能、占用显存和推理速度比较（摘自官方文档）性能推理速度（从大到小）72B57B-A14B7B1.5B0.5B

【代码】图片based64编码解码python代码。

【代码】大模型单次预测下一个token的过程分析，帮助理解model.generate。

vllm框架比普通的generate生成结果更快挺多的，设备受限，目前测试最大的长度为455731万个字符，大约22万个token，确实是能跑的，大概需要80.355秒，从结果来看是可以接受的。但是模型的输出看起来时好时坏，不稳定。

【代码】glm-4-9b-chat-1m模型结构解读。

【代码】Internlm_xcomposer2模型结构解读。

该模型总的参数为57B，激活参数为14B，推理速度比32B的快，而且性能更好。

这里选取了两篇多模态数学推理数据集的代表工作MATH-V和MATHVISTA，均是今年2024年发表的工作。前者是港中大的工作，后者是加利福尼亚大学洛杉矶分校的工作。

【代码】使用在线工具等方式下载推特视频。

在Python中，使用matplotlib库可以画出各种图表，并且可以自定义颜色。可以根据自己的喜好和图表的需求选择适合的颜色列表。

【代码】python实现字符串转义。

【代码】simpletex的api调用代码。

【代码】Python实现将文件夹下的所有pdf文件合并成一个pdf文件，并用文件夹名字命名。

【代码】Python遍历文件夹（包括子文件夹）下所有zip文件进行解压。

【代码】python递归统计文件夹下pdf文件的数量。

请注意，这个脚本会关闭Word应用程序，但在某些情况下，Word进程可能会留在后台。为了避免这种情况，你可以在转换完成后确保Word进程被完全关闭。此外，由于这个方法依赖于Microsoft Word的COM接口，它只能在安装了Microsoft Word的Windows系统上运行。函数接受一个目录路径作为参数，并遍历该目录中的所有DOC和DOCX文件，将它们转换为PDF文件。首先，确保你的系统上安装了Microsoft Word。库打开Word应用程序，打开指定的Word文档，并将其另存为PDF格式。

CVPR、ICCV和ECCV是计算机视觉领域顶级的三个国际会议，而NeurIPS、ICML和ICLR则是机器学习领域最具影响力的三个国际会议。

在不超过 15 的素数中，随机选取 2 个不同的数，则这 2 个数的积是偶数的概率是 ( )\quad ( a\in \mathbb{R} $,i为虚数单位),的值为( ) A. l B.2 C.3 D.4。, 则实数 m 的值为( ) A.C.1 D.25. 已知向量。复数$z= \alpha+是 z 的共轭复数，若。

基于频繁模式挖掘的 GCC 编译时能耗演化优化算法1.摘要18年我尊爱的导师发在软件学报上的一篇论文。演化算法通过搜寻 GCC 编译器最优编译选项集对可执行代码的能耗进行改进,以达到编译时优化嵌入式软件能耗的目的.但这类算法未考虑多个编译选项之间可能存在相互影响,导致了其解质量不高且收敛速度慢的问题.针对这一不足,本文设计了一种基于频繁模式挖掘的文化基因算法 MA-FP,在演化过程中利用频繁模式挖掘得到出现频度高且对能耗有显著改进效果的一组编译选项,并以此作为启发式信息设计了“增添”和“删减”两种变异算

Model-based methods for continuous and discrete global optimization1.摘要本文综述了下基于模型的连续和离散全局优化方法，并提出了一种叠加替代信息的新方法。2.介绍比较水。。作者说，本文是首次尝试提供对连续和离散建模方法的可理解的调查和分类。由于离散领域的MBO是一个相对较新的研究课题，因此引入了处理离散结构的六种策略。在描述了这些策略如何作为应用MBO的指导方针之后，本文讨论了替代模型的集合作为MBO的最新和很有前途的方法。3.分

Bayesian Optimization of Combinatorial Structures1.摘要本文提出了一个算法(BOCS)，它基于一个自适应的、可扩展的模型，即使数据稀缺，也能识别有用的组合结构。我们的采集函数率先使用半定编程来实现效率和可伸缩性。实验结果表明，该算法的性能始终优于其他组合方法和贝叶斯优化方法。2.介绍本文的主要贡献是：一种获得获取函数近似优化器的新方法，利用凸优化的算法思想来实现可伸缩性和效率。该方法克服了许多采集函数对大型组合领域所固有的有限的可扩展性。我们提

【代码】torchrun常见参数。

19个大模型常用的评估数据集和训练数据集汇总 名称 简介 测试（数据量） 训练（数据量） 地址 CEval 中文选择题测试，包括中学、高中、大学的多个学科 √，13948 × https://huggingface.co/datasets/ceval/ceval-exam GSM8K 小学数学题目，通过最后的数字检测正确与否 √，1320 √，8790 h

在 Windows 和 macOS 上，你可以从 FFmpeg 官方网站（https://ffmpeg.org/download.html）下载预编译的可执行文件，然后按照官方文档或相关教程进行安装和使用。因此，它不仅限于 Linux 系统，也可以在其他操作系统上使用。请注意，加速倍数越大，可能会导致视频和音频的质量损失，因此你可能需要根据具体情况进行调整。此外，这只是一个基本的例子，你可以根据需要使用其他参数和过滤器进行更高级的调整。总之，FFmpeg 是一个跨平台工具，可以在不同的操作系统上使用。

【代码】API服务的快速搭建和测试。

返回论文目录返回资料目录

如果需要非常清晰读懂每个参数，需要了解一下与大模型配套的。

【代码】分享一波chatgpt的常用prompt。

【代码】1B（10亿）的token大概需要多少磁盘空间存储。