weixin_44581312的博客

原创 lnternlm实战作业合集

第二节课笔记：https://mp.csdn.net/mp_blog/creation/editor/135466701。第二节课作业：https://mp.csdn.net/mp_blog/creation/editor/135466558。第四节课笔记：https://mp.csdn.net/mp_blog/creation/editor/135648392。第四节课作业：https://mp.csdn.net/mp_blog/creation/editor/135648475。

原创 第六节课的作业

原创 第六节课笔记

LawBench 法律领域。-MedBench 医疗领域。OpenCompass-MMbench 多模态领域。opencompass也有垂直的应用工具。主观评测 回答关键词答案。客观评测 人工打分。

原创 第四次课作业

最后一个参数是规定，每个文件大小，方便以后进行传输和分享。此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”至此微调结束，与第二节课的数据集投喂方式，微调，做一个联动；# 加载 Adapter 模型对话（Float 16）可以简单理解：LoRA 模型文件 = Adapter。由于下载模型很慢，用教学平台的同学可以直接复制模型。微调模型就是说：某某模型在某某数据集上进行微调。模型数据集下载好配置文件修改好接下来进行微调。4 bit量化回答速度快、显存消耗少。模型下载完成后再下载数据集。

原创 第四次课笔记

有flashattention和deepspeed zero功能能显著节约存储成本。以internlm为基础模型使用微调架构Xtuner进行微调。预测阶段的模型组装都是有xtuner自动完成的，不需要取干涉。只需要写答案就好，这就是增量预训练微调。训练过程中只对答案进行loss计算。不同的开源模型有不同的对话模板。完成对话后见之后，进入模型训练。只加载adapter部分的显存。什么是指令跟随微调呢。Xtuner微调原理。

原创 第五课作业

原创 第五节课笔记

启动玩server之后，你会可能有两种想法。一种是看看有哪些接口，另一种用kelan进行交互，相当于不是和tbmind进行交互了，而是和server进行交互。需要上一节的23333端口，就是说这个方法，必须先启动server，Gradio作为Client。不在本地看不了，提供一个方案，转发以下端口。复制get的id，去第二个进行对话。

原创 第三次作业复现过程

为方便构建LLM应用，我们需要基于本地部署的internLM，继承LangChain的LLM类，自定义一个internLM LLM子类，从而实现将internLM接入到LangChain框架中。LangChain 通过提供检索问答链对象来实现对于 RAG 全流程的封装。所谓检索问答链，即通过一个对象完成检索增强问答（即RAG）的全流程，我们可以调用一个 LangChain 提供的。对象，通过初始化时填入已构建的数据库和自定义 LLM 作为参数，来简便地完成检索增强问答的全流程，LangChain 会自动。

原创 第三次课笔记

完成向量数据库构建之后，可根据internlm来搭建知识库助手；如何基于internLM和LANGchain搭建属于个人的数据库。大模型有很多优点，但是又有很多局限性。基于个人数据构建构建向量数据库。如何高效的开发一款RAG应用。如何一步步搭建自己的知识库？

原创 第二次课程笔记

demo实验大功告成。

原创 第二次作业，换源export

原创 LLM介绍

70亿轻量级 200亿中量级 1230亿高量级。算力受限：Laura 微调小部分的参数。

原创 RCNN--Fast RCNN---Faster RCNN

然后用原图的大小/特征图，得到步距（倍率），然后针对在特征图上某中心点的位置（x，y）*倍率，就得到原图对应的中心点，以这个点为坐标生成k个anchor boxes）。第二步是对于上一步【2000，20】个候选框中筛选出来的，找到该候选框对应当的第二步提取得到的4096维的向量（从【2000，4096】中筛选），用20个回归器分别对20个类别中剩余的建议框回归操作（分类器输出为【目标建议框中心X偏移量，Y偏移量，边界框高度缩放因子，宽度缩放因子】），通过得到的输出对于边界框进行调整。其实这里可以分为两步。

原创 no.14 RepVGG

例如，有研究[1]认为，ResNet性能好的一种解释是ResNet的分支结构（shortcut）产生了一个大量子模型的隐式ensemble（因为每遇到一次分支，总的路径就变成两倍），单路架构显然不具备这种特点。在堆叠RepVGG Block时，下图中是Block的一些细节，左边的结构式strides=2做下采样的RepVGG使用到的结构，右边是正常的strides=1时正常的RepVGG block结构。将1x1的卷积转换为3x3的卷积，将大小为1的kernel，padding一圈0，就变成3大小，

原创 no.15 MobileViT

原本的vit计算每个token不好吗？其实对于高分辨率的图片（冗余参数多），这种相关性的求解，已经是在浪费算力了。对于计算参数的减少来说，影响到高分辨率的图片的特征注意力不会很大。3迁移学习比较繁琐，因为再vit中我们的token编码是根据传入图像而言的，一旦我们传入图像的大小确定了我们的token的尺度也就确定了。2空间信息要求不是很明确，但是我们图像处理又必须对位置非常敏感。全局表征（Global representation）1权重大，参数多，算力要很高。

原创 no.13 ConvNet

（3）在之前的卷积神经网络中，一般最初的下采样模块一般都是通过一个卷积核大小为步距为2的卷积层+步距为2的最大池化下采样共同组成，高和宽都下采样4倍。（8）采用更少的激活函数，原先的卷积网络中我们习惯在卷积后面加上relu，但是transformer中很少，结果效果提升了，当然把relu换成了transformer 中的gelu激活，但是效果没有更明显。（7）改变卷积核的内核大小，3x3-->7x7,作者试过多种，7x7最好，而神奇的事情，它竟然和swim中的窗口大小是一样的。的一种新的网络模型。

原创 no.12 Swin transformer

这样就有新问题，对于4窗口来说他是连续的像素，但是对于其他的合并为4x4的窗口来说，我们想单独计算，比如右上角的5单独计算，3单独计算。原论文中是用绝对位置索引相减得到的，比如，蓝色像素的相对橙色的相对位置索引就是（0，0）-(0,1)=（0，-1）。将传入的feature map分成4份，然后进行深度上的拼接，再进行layarNorm，在进行linear(n，n/2)。论文中的窗口移动是[m/2,m/2],当windows像素大小为4x4时，移动2，当像素为3x3时，移动1.5向下取整为1。

原创 no.11 transformer（vision transformer）

----------------------------------------------------------------------------------------------------------------------------------------------------------------------注意，LayerNorm和BatchNorm在这里要知道why？这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。（2017年出现在nlp领域）

原创 no.10 EfficientNet V2

2 在我们实际的使用上，我们发现，虽然DW卷积理论上的计算量小，但是实际的速度没有想象的快。注意：这里的dropout层仅指Fused-MBConv模块以及MBConv模块中的dropout层，不包括最后全连接层前的dropout层。1 第一个问题就直接降低训练图像的尺寸，不仅能够加快训练速度，还能增大Batch，在no.1讲过，batch越大，训练效果越好。作者在v1中更关注准确率，参数数量以及FLOPs，但是理论计算量小代表不了推理速度，所以在v2中作者更关注模型的训练速度。

原创 no.9 EfficientNet

---------------------------------------------接下来的内容属于代码内容注释--------------------------------------------------------------------------------------------------------------------------------------------------------------------------，且使用Swish激活函数。

原创 no.7 MobileNet v1 & v2

在加载权重时，由于预训练模型和新的神经网络模型的结构可能不完全相同，因此设置 strict 参数为 False，表示可以忽略预训练模型中存在但是新的神经网络模型中不存在的权重，以及新的神经网络模型中存在但是预训练模型中不存在的权重。group注意一下，在pytorch里它的DW卷积，也是调用的nn.conv类，当group为1时，它是普通卷积，当group输出特征矩阵的深度的时候（也就是in_channel），它就是DW卷积。在模型定义中，这些可选参数可以用来替换模型中的默认层，从而实现模型结构的定制化。

原创 no.3 AlexNet网络

教授号召，包含了超过1400万张全尺寸的有标记图片，大约有22000个类别的数据。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。根本原因是特征维度太多了，模型假设过于复杂，参数过多，训练数据过少，导致拟合的函数完美预测了训练集，但对新的数据（测试集）的预测能力结果差。下图是一开始图像训练的时候，蓝色线可以理解为计算机随便给定的一个线（没训练几轮，像人一样没有”见识“）。下图就是过拟合现象了，分类分的太过于标准，以至于传入一个新的点之后，在线的复杂下，不知怎么区分了。

原创 no.8 ShuffleNet V1&V2

1 FLOPs只是间接指标，速度是最直接的评价指标，除了FLOPs以外，还应该考虑memory access cost （MAC）、并行等级（degree of parallelism），在相同的FLOPs下，并行度高的模型比并行度低的模型速度快，所以一味加宽网络宽度也是不行的，比如残差网络。注意：对于Stage2的第一个block，它的两个分支输出的channel并不等于输入channel，而是直接设置为指定输出的一半，比如2x版本，则指定为out-channel=122。，大约占到了总操作的93%。

原创 no.6 ResNet网络结构 BN层以及迁移学习详解

（Layer2的生成就有讲究了），由于第一层maxpooling帮第一层提前缩小了size，而layer2没有这么好的资源，他需要自己做这件事，首先在medel中就写了：self.layer2 = self._make_layer(block, 128, blocks_num[1], stride=2)，定义了stride=2，进入make layer函数之后，满足stride！获得coco数据集中目标检测，图像分割的第一名。但是残差网络很好的解决了这一问题，如下图，随着网络的加深，反而我们的错误率越低。

原创 no.5 GoogLeNet

注意：GoogLeNet轻量化，但是修改困难，训练过程中需要两个辅助分类器，调整网络会麻烦，但是不可否认GoodLeNet在分类任务上是出色的。GoogLeNet在2014年由Google团队提出，斩获当年ImageNet竞赛中分类任务第一名。每个分支所得的特征矩阵高度和宽度必须相同，深度可以不同，最后按深度进行拼接。下图原文对辅助分类器的一个描述。3 添加两个辅助分类器帮助训练（下图中中间和右边的黄色部分）在（b）中1x1卷积是降维手段，以减少参数作为目标。4 丢弃全连接层，使用平均池化，减少模型参数。

原创 no.1 有关卷积的基础知识

一些基本的有关深度学习的基础网络架构所需要的内容

原创 no.4 VGG网络结构&感受野的计算

在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作感受野（receptive field）。VGG在2014年由牛津大学著名研究组VGG（Vision Geometry Group）提出，斩获该年ImageNet竞赛中Localization Task（定位任务）第一名和Classification Task（分类任务）第二名。作者在6种VGG网络中尝试了不同的深度，比如 11层、13层、16层、19层。一般使用16层的网络结构（经典），包含13个卷积层3个全连接层。

原创 no.2 LeNet介绍，以及pytorch，tensorflow v1与v2的介绍

主要集中在Tensorflow的Python Frontend层和layers，这些层是在TensorFlow底层算法引擎的基础之上，使用Python的封装，这导致1.0的使用比较麻烦，理解难度较大。但是，LeNet为卷积神经网络的发展奠定了基础，后续的深度学习研究在此基础上不断发展和完善，从而推动了深度学习技术的快速发展。此外，由于图的构建和执行都是在TensorFlow的计算图模式下进行的，因此可能需要特别注意一些细节，如变量的定义和使用等。由于TensorFlow图的构建需要额外的开销，因此。

原创 星星之火，可以燎原

其二，对于我从中汲取“养分”的那些博主等人，我是难以望其项背的，我希望也在自己的学习过程中向他们一样，能够分享一些知识，向他们等人学习。希望大家可以多多交流，当然，里面的内容是绝对不全面的，因为有些东西文字表达不清楚的，如果能表达清楚，估计我不会有时间写CSDN了，但是我尽量把每篇里面的“关注点”表达清楚，让大家理解或者以便于大家去搜索相应内容。