不是吧这都有重名-CSDN博客

原创 PyTorch中，view, reshape, 或者 permute 的区别和联系

简单来说，view和reshape都是用来改变张量的形状的，view更快但要求连续存储，而reshape慢一点不要求连续，灵活度高；而permute是用来调整tensor的维度的顺序的，不改变形状大小。

2024-09-02 11:02:35 432

原创 [Datawhale AI 夏令营]多模态大模型数据合成赛事-Task2

简单按照datawhale给的task2的文档学习了一下,主要还是学习了Data-Juicer相关的知识。

2024-08-15 23:17:44 897

原创 [Datawhale AI 夏令营]多模态大模型数据合成赛事-Task1

参加了一个多模态大模型数据合成的比赛，赛事链接https://tianchi.aliyun.com/competition/entrance/532251。比赛官方是有提供平台的，但是训练还是需要额外的付费，囊肿羞涩就自己搞一下吧。强烈建议步骤1和步骤2的时候没必要用太高的配置，从步骤3开始调高配置，该省省该花花嘛！打完收工~，以上就是在非官方平台跑通baseline的全过程，唯一的卡点就是在数据下载部分，但是只要注意上面提到的两点应该就没有大问题，有其他问题可以在评论区提问，后续会补充回答！

2024-08-11 18:10:28 454

原创 [论文精读]VIT:AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

虽然Transformer架构已成为自然语言处理任务的标准模型，但它在计算机视觉领域的应用仍然有限。在视觉领域，注意力机制要么与卷积网络结合使用，要么用来替换卷积网络的某些组件，同时保持其总体结构不变。我们的研究表明，这种对CNN的依赖于并非必要的，直接将纯粹的Transformer应用于图像块序列，也可以在图像分类任务上表现得非常好。

2024-07-29 19:13:44 718

原创 [吃瓜教程]南瓜书第6章软间隔与支持向量回归

为L2正则项，此处引入正则项除了起到正则化的作用外，也是为了和（软间隔）支持向量机的优化目标保持形式上的一致，这样就可以导出对偶问题引入核函数。落在带上的样本不计算损失，不在带上的计算损失，然后最小化损失使得间隔带从样本最密集的地方穿过，达到拟合训练样本的目的。在确定了软间隔支持向量机的损失函数后，我们还可以进一步转换，将其从损失函数的形式再写回优化问题的形式。之前讨论的支持向量机的一个重要的假设前提是它的数据集是线性可分的。才是最常见的，因此需要允许支持向量机犯错。这就是接下来要说的软间隔的支持向量机。

2024-07-12 19:27:06 1013

原创 [吃瓜教程]南瓜书第6章支持向量机

超平面是指在𝑛维空间中，维度为 𝑛−1的子空间。它是分割空间的一个平面。

2024-07-08 00:15:41 1219 1

原创 [吃瓜教程]南瓜书第5章神经网络

为了解决线性不可分的数据集（其他的当个神经元的模型也可以结局线性不可分的数据集，只是感知机不可以），提出了由多个神经元构成的神经网络，且用通用近似定理可以证明：只需一个包含足够多神经元的隐层，多层前馈网络（最经典的神经网络之一）就能以任意精度逼近任意复杂度的连续函数。从几何的角度来说，给定一个线性可分的数据集T，感知机的学习目标是求得能对数据集T中的正负样本完全正确划分的超平面，其中。此时损失函数是非负的。如果没有误分类点，损失函数值为0.而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。

2024-07-04 22:49:03 861

原创 [吃瓜教程]南瓜书第4章决策树

理解一下，我们希望我们划分出来的空间内的样本的y的概率越大越好，这样我们就把各个y的不同值划分的很好了，这就对应了信息熵中的期望信息熵最小的情况，因此可以用信息熵来表示集合内样本的纯度，信息熵越小样本的纯度越高。这里上下两部分的关系，其实下面的部分再更加具体的解释上面的式子。这里第二部分假设X是只有一个维度，也就是特征a，而随机变量X的取值，这里就是a的具体的取值会影响到Y的信息熵，也就是说，.当X的某个取值的概率为1时信息熵最小，值为0，当X的各个取值的概率均等时信息熵最大，最不缺定，其值为。

2024-07-01 18:44:06 728

原创 [吃瓜教程]南瓜书第3章二分类线性判别分析

*2.求拉格朗日函数的偏导数：**对所有变量求偏导数，并令这些偏导数等于零，得到一组方程。特别的，当B=I（单位矩阵）时，广义瑞利商退化为瑞利商。特别的，当B=I（单位矩阵）时，广义特征值问题退化为标准特征值问题。**1.构造拉格朗日函数：**将目标函数和约束条件结合，形成拉格朗日函数。分别表示反例集合和正例集合的均值向量与投影直线的夹角，围绕上面思想中的。之间的线性关系的度量。为A相对于B 的广义特征值，x为A 相对于B的属于广义特征值。的离散程度的度量，表示数据点与均值之间的偏离程度。

2024-06-28 23:16:14 1079

原创 [吃瓜教程]南瓜书第3章对数几率回归

它通过拟合一个对数几率函数（logit function），即对数几率（log-odds）与输入变量的线性组合之间的关系，来预测一个事件发生的概率。其中，I（x）是事件x的自信息量，P（x）是事件x发生的概率，log 表示对数运算，可以是以2为底（通常用于信息论中的单位为比特）或以自然对数为底（单位为纳特，nats）。由于理想分布p(x)是未知但固定的分布（频率学派的角度），所以式子的前办部分是一个常量，那么最小化相对熵就等价于最小化交叉熵。3.算法：梯度下降，牛顿法（近似求解方法，没有闭式解）

2024-06-26 00:57:10 927

原创 [吃瓜教程]南瓜书第3章线性回归

最小二乘法（Least Squares Method, LSM）是一种统计方法，用于在数据拟合过程中找到最佳拟合函数，使得观测数据与拟合函数之间的误差平方和最小。，且f(x)在D上二阶连续可微，如果f(x)的Hessian（海塞）矩阵在D上是半正定的，则f(x)是D上的凸函数。因此通过求损失函数的海塞矩阵是否为半正定的即可证明该损失函数为凸函数，然后即可用凸函数求最值的思路解出w和b。在确定了问题的假设空间是线性空间后，我们就面临如何选取最优模型的策略，在目前的情况下就是去确定模型的参数。

2024-06-23 00:34:29 841

原创 [吃瓜教程]概览西瓜书+南瓜书第1、2章

1）机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。2）机器学习所研究的主要内容是关于在计算机上从数据中产生模型的算法，即“学习算法”。

2024-06-19 22:43:11 683

原创 [书生·浦语大模型实战营]——LMDeploy 量化部署 LLM 实践

创建新的开发机，选择；选择10% A100*1GPU；点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像，新版本的lmdeploy会出现兼容性问题。其他和之前一样，不赘述。

2024-06-09 16:36:23 443

原创 [书生·浦语大模型实战营]——使用 OpenCompass 评测

使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能。接下来，将展示 OpenCompass 的基础用法，展示书生浦语在 C-Eval 基准任务上的评估。它们的配置文件可以在 configs/eval_demo.py 中找到。

2024-06-09 15:51:11 368

原创 [书生·浦语大模型实战营]——第七节 OpenCompass 大模型评测实战

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测多样化评测范式：支持零样本小样本及思维链评测。

2024-06-05 23:17:43 1086

原创 [书生·浦语大模型实战营]——Lagent & AgentLego 智能体应用搭建实现效果

4.使用 Lagent 或 AgentLego 实现自定义工具并完成调用，并在作业中上传截图。3.完成 AgentLego WebUI 使用，并在作业中上传截图。1.完成 Lagent Web Demo 使用，并在作业中上传截图。2.完成 AgentLego 直接使用部分，并在作业中上传截图。

2024-06-04 20:51:09 262

原创 [书生·浦语大模型实战营]——第六节 Lagent & AgentLego 智能体应用搭建

接下来将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰下面实现一个调用和风天气 API 的工具以完成实时天气查询的功能。

2024-06-04 20:27:44 1173

原创 [书生·浦语大模型实战营]——第五节 LMDeploy 量化部署 LLM 实践

创建新的开发机，选择；选择10% A100*1GPU；点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像，新版本的lmdeploy会出现兼容性问题。其他和之前一样，不赘述。

2024-06-01 15:52:15 1000

原创 [书生·浦语大模型实战营]——训练自己的小助手认知+应用部署到 OpenXLab+复现多模态微调

应用部署在OpenXLab（比上次部署方便不少，文档写的更清楚了，棒棒）,链接如下。

2024-06-01 12:33:33 247

原创 [书生·浦语大模型实战营]——第四节：XTuner 微调 LLM：1.8B、多模态、Agent

XTuner 一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。🤓 傻瓜化：以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。🍃 轻量级：对于 7B参数量的LLM，微调所需的最小显存仅为 8GBfill:#333;color:#333;color:#333;fill:none;输入文本文本Embedding模型文本向量L L M输出文本Haotian Liu等使用GPT-4V对图像数据生成描述，以此构建出大量que。

2024-05-31 23:11:38 789

原创 [书生·浦语大模型实战营]——在茴香豆 Web 版中创建自己领域的知识问答助手

这里类似于注册账号，你输入知识库的名称以及密码，然后它就会创建一个知识库，之后你就可以用名称和密码来管理你的知识库了。安装后可以看到如下界面，按照指示来，将自己的知识库的地址粘贴到框中，然后开启茴香豆，并保持其后台运行就可以。当然你也可以通过开启网络搜索，通过添加Seroer APIkey来使用网络搜索，丰富模型的回答。由于我是两个微信来回切着问的，可能回答有点混乱，但是效果还是不错的，反应速度也还可以。进入之后你可以看到如下界面，点击查看或上传就可以上传自己的文件。下载安装包，安装到手机。

2024-05-29 00:54:50 383

原创 [书生·浦语大模型实战营]——第三节：茴香豆：搭建你的 RAG 智能助理

通过与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供的回答、推理、实现。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建。

2024-05-26 13:58:33 1112

原创几种常用的配置文件格式对比分析——ini、json、xml、toml、yaml

格式优点缺点INI简单易读，易于编辑；支持分节管理配置结构简单，不适合复杂数据；缺乏标准化XML结构化数据格式，适合复杂数据；工具支持丰富；自描述性强语法繁琐，文件较大；不易手动编写和阅读JSON简洁明了，易于阅读和编写；广泛支持；体积小不支持注释，难以加入说明；对非常复杂的数据结构不够直观YAML语法简洁，易于手动编辑；支持复杂数据结构和注释缩进敏感，容易出错；解析速度较慢TOML语法简单，易于阅读和编写；支持丰富数据类型；结构化数据支持好。

2024-05-26 13:15:57 4430

原创 [书生·浦语大模型实战营]——第二节：课后作业

2.使用书生·浦语 Web 和浦语对话，和书生·浦语对话，并找到书生·浦语 1 处表现不佳的案例(比如指令遵循表现不佳的案例)，提交到问卷。1.使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事。

2024-05-25 18:58:13 255

原创 [书生·浦语大模型实战营]——第二节：轻松玩转书生·浦语大模型趣味 Demo

八戒-Chat-1.8B 是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。

2024-05-25 16:18:27 762

原创 [技术报告]InternLM2 Technical Report

在本报告中，我们介绍了InternLM2大型语言模型，该模型在主观和客观评估中均表现出色。InternLM2经过超过2万亿高质量预训练语料的训练，涵盖1.8B、7B和20B的模型规模，适用于各种场景。为了更好地支持长上下文，InternLM2采用了GQA以降低推理成本，并且经过了长达32k上下文的额外训练。除了开源模型本身，我们还提供了训练过程中各阶段的检查点，以便未来研究者进行研究。

2024-05-24 16:30:08 1030

原创 [论文阅读]FINE-TUNE THE PRETRAINED ATST MODEL FOR SOUND EVENT DETECTION

本研究提出了一种微调预训练模型ATST（音频师生转换模型）的方法，用于声音事件检测（SED）。通过引入ATST-Frame模型，该方法在DCASE挑战任务4数据集上取得了新的SOTA结果，有效解决了预训练模型在声音事件检测中过拟合的问题。提出的方法显著提高了SED性能，并可能适用于其他预训练模型，形成一种新的自监督学习模型训练范式。研究和提出一种微调预训练模型的方法，用于提高SED性能。

2024-05-15 17:32:32 422 2

原创【论文精读】Attention is all you need

在WMT 2014英法翻译任务中，我们的模型在8个gpu上进行了3.5天的训练，建立了一个新的最先进的单模型，其BLEU分数达到41.0，这只用了文献中最佳模型的训练成本的一小部分。该模型的配置列于表3的最后一行中。已经成为各种任务中的序列模型和转换模型的一个重要的组成部分，允许对依赖关系进行建模，而不考虑它们在输入或输出序列[2,16]中的距离。在WMT 2014年的英法翻译任务中，我们的大模型获得了41.0分的BLEU分数，优于之前发布的所有单个模型，其训练成本不到之前最先进的模型的1/4。

2024-04-20 19:26:56 1401

原创【论文精读】Bag of Tricks for Image Classification with Convolutional Neural Networks

目标检测的目标是定位图像中对象的边界框。pathB使用步幅为2的1×1卷积，将输入形状转换为pathA的输出形状，因此我们可以对两条路径的输出进行求和，得到下采样块的输出。此外，通过给大批量训练叠加所有的启发式，在1024批大小和FP16条案件下训练的模型相比基线模型在top-1准确率上甚至有轻微的0.5%的提高。这个调整最初是在Inception-v2[26]中提出的，它也可以在其他实现中找，如SENet [12]，PSPNet [31]，DeepLabV3 [1]，和ShuffleNetV2[21]。

2024-04-20 00:14:36 889

原创 [论文精读]Masked Autoencoders are scalable Vision Learners

摘要本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习算法。我们的MAE方法很简单:我们盖住输入图像的随机块并重建缺失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器仅对块的可见子集(没有掩码标记)进行操作，以及一个轻量级解码器，该解码器从潜在表示和掩码标记重建原始图像。其次，我们发现如果用比较高的掩盖比例掩盖输入图像，例如75%，这会产生一个重要的和有意义的自我监督任务。这两种设计的结合使我们能够高效地训练大型模型:我们加速了训练(3倍或更多)并提

2024-04-18 14:15:02 1158

原创 [书生·浦语大模型实战营]——XTuner 大模型单卡低成本微调

在未经过微调的pretrained LLM中，模型只会尽量去拟合你的输入，也就是说模型并没有意识到你在提问，因此需要微调来修正。1.安装2.挑选配置模板3.一键训练Config的命名规则4.模型对话Float 16模型对话或4bit模型对话加载Adapter模型对话5.工具类模型对话XTuner还支持工具类模型的对话。

2024-01-14 14:05:37 1080

原创 [书生·浦语大模型实战营]——基于 InternLM 和 LangChain 搭建你的知识库

llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。from langchain . prompts import PromptTemplate # 我们所构造的 Prompt 模板 template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。

2024-01-09 17:30:20 1206

YOLOv7源代码+权重文件

机器学习数据集猪头部识别yolo格式

空空如也