ChatGLM2 测试与策略分析 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了GLM的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。更长的上下文：基于。
Lora 微调wiki 核心：模型是过参数化的，它们有更小的内在维度，模型主要去依赖这个低的内在维度去做任务适配。通俗理解：你从小到大经历了很多很多的事情，比如目前正在经历繁琐又复杂的成年人🍜，但是收益最高的只有儿童时朴素快乐的时光更让你值得回味。由此得到低秩自适应方法（Lora）LoRA 允许我们通过优化适应过程中密集层变化的秩分解矩阵，来间接训练神经网络中的一些密集层，同时保持预先训练的权重不变。原理流程。
XLM模型论文精读 以句子编码器（sentences-encoder）的生成预训练，在很多任务上取得了不错结果。Transformer语言模型在大型的无监督文本语料库上学习，然后在自然语言理解（NLU）上进行微调。但由于其单语且主要集中在英语上，实验普适度并不高。如何构建通用的跨语言encoder，将任何句子编码到共享的嵌入空间中，是本篇论文的核心。介绍了一种新的无监督方法，使用跨语言建模来学习跨语言表征，并研究两个单语的预训练目标。引入新的监督学习目标，该目标在并行数据可用的情况下改进了跨语言预训练。
LLaMA 论文精读 在大型文本语料库上训练的LLM模型已经显示出其可以从文本instructions和几个例子就可以执行新任务的能力。当将模型缩放到足够大的尺寸，这些few-shot特效首次出现。因此这些缩放操作，即更多的参数带来更好的性能很流行。但Hoffmann等人证明并非如此，最好的性能而是通过在更多数据上训练较小的模型实现。但其研究忽略了推理预算。导致其最好的模型并非是训练最快的，而是推理最快的。Hoffmann的理解是训练大型模型达到一定水平的性能会更便宜。（只考虑了训练阶段）
OPT论文精读 LLM大模型表现优异付费API等资源限制使得人们的交互有限交互有限阻碍了科技进步开发OPT匹配GPT3的性能和大小在数据收集和高效训练方面应用最新的最佳实践实现可重复和负责任的大规模研究发布内容发布参数范围内的所有模型模型日志代码库metaseq，该代码库允许在992个80G A100 GPU上训练OPT-175B，每个GPU利用率达到147 TFLOP/s。在本技术报告中，我们介绍了OPT，这是一组大小从125M到175B参数的自回归语言模型。
Video-LLaMA 论文精读 基于大量文本数据训练的LLM模型，表现非凡，尽管它们取得了很大成功，但大多数用户只能通过文本去与LLM进行交互。为了最大化发掘其潜力，将视觉理解能力加入LLM成为趋势。BLIP-2，由于其从冷冻的图像encoder与文本decoder引导视觉语言预训练而备受关注。但是难以准确理解非平稳的视觉场景，缓解视频与文本之间的模态间隙比图像和文本更具挑战性。本文的工作力图攻克视频转文字，并非采用外部感知模型将视觉与听觉信号转换为文本信号。而是构建一个端到端模型，可以在一个框架内处理来自多个模态的数据。
Blip2 文章阅读 Q-Former作为可训练模块，从图像编码器中提取固定数量的输出特征，与输入图像分辨率无关。Q-Former由两个transformer子模块组成，他们共享自注意力层。与冻结图像编码器交互进行图像特征提取的图像transformer创建一组可学习查询embedding作为图像transformer的输入查询通过自注意力层相互交互，同时查询embedding也被视为模型参数同时查询通过cross attention层与 冻结的图像特征交互。
GLM论文阅读 GLM 是一个用于自然语言理解和生成的通用预训练框架，NLU任务可以公式化为条件生成任务，因此可以通过自回归求解。GLM将不同任务预训练统一为自回归空白填充，使用混合注意力掩码和2D位置编码，优于以前的方法，同时可以有效的共享不同任务的参数。
关注
