fanre的专栏

原创 spdlog单例封装

【代码】spdlog单例封装。

原创 openmetadata安装

3、原本想安装的那台是科学上网受限，因此我把这台装好的docker。1、检查一下docker和docker-compose是否安装。

原创 DVC+Minio

追加dvc远端信息；实际上就是.dvc/config中。minio就是存储用的。

原创 Circular Barplot for 40 Cases by Group

【代码】Circular Barplot for 40 Cases by Group。

原创 目标检测mAP

mAP(mean of Average Precision) : 对所有类别的AP值求平均值。0.5 和0.95之间取10个IoU阈值（0.5、0.55、0.6 ….. 0.9、0.95）AP（average precision 平均精度）：AP是计算单类别的模型平均准确度。MS-COCO（Microsoft Common Objects)数据集。

原创 非极大值抑制算法（Non-Maximum Suppression，NMS）

目标检测中检测出了许多的候选框，候选框之间是有重叠的，NMS作用重叠的候选框只保留一个。

原创 在系统已经存在postgres时，安装gitlab

5、如果忘了密码，重置root密码。3、postgres数据库配置。4、gitlab配置。

原创 gitlab推送已经存在的代码

3、移除已经存在的远程链接 git remote rm origin。4、推送git push -uf origin main。2、设置->仓库->受保护分支->允许强制推送。1、在gitlab上创建空的文件。

翻译 放疗医生评估放疗计划中国专家共识

放疗医生、物理师（剂量师）危及器官（organ at risk, OAR）计划靶区（planning target volume, PTV）临床靶区（clinical target volume, CTV）肿瘤区（gross tumor volume, GTV）内靶区(internal target volume, ITV)内在肿瘤去(internal gross tumor volume, IGTV)危及器官计划体积(planning organ at risk volume, PRV)

翻译 PyTorch Lightning(一)、LIGHTNING IN 15 MINUTES

定义LightningModel，当然validation_step和test_step也是一样的。如果您有多行具有相似功能的代码，您可以使用回调将它们轻松地分组在一起，并同时打开或关闭所有这些行。训练可视化，如果有tensorboard的话，直接打开网页。把有关于cuda的部分移除掉，后面会统一追加。设置反向传播和优化器部分，也可以不显式的写明。trainer里面有很多的小技巧。自定义的train loop。优化器会自动的组合这些步骤。快速的设置GPU或者CPU。Trainer的扩展。

原创 Command ‘mlflow‘ not found,

Ubuntu已经pip install mlflow后，执行。报错Command 'mlflow' not found,修正命令为，命令执行路径在./mlruns父目录。

原创 python 直接在代码中设置argparse参数，

【代码】python 直接在代码中设置argparse参数，

转载 vscode 子模块找不到、

扩展-Python-在settings.json中编辑。

原创 python画PCoA

【代码】python画PCoA。

翻译 nnDetection: A Self-configuring Method for Medical Object Detection

应用于医学影像领域的目标检测任务。

原创 第八节课《大模型微调数据构造》

预训练：网络、论文数据，无标签数据transform算法base model典型：GPT监督微调对话数据：prompt和response，人工标注或者模型生成，规模小但是质量高RHF一般不涉及，人工排序、打分，数据少，质量高二分类算法强化学习prompts：问题，模型提供输出revive model排序打分强化学习算法RL model。

原创 第七节课《OpenCompass司南--大模型评测实战》

评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。OpenCompass 默认并行启动评估过程。--debug 模式启动评估，并检查是否存在问题。自定义任意模型和数据集，多模型和数据集进行切分，做到并行化（多GPU或任务），多种输出方式。做提示词工程，丰富题目，给模型做推理，然后做评测，评测结果更加真实反映模型性能。列出所有跟 InternLM 及 C-Eval 相关的配置。

原创 第六节课《Lagent & AgentLego 智能体应用搭建》

继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰两个 terminal 中分别启动LMDeploy 服务Tutorial 已经写好的用于这部分的 Web Demo确保 其他终端服务已关闭，否则会出现 CUDA Out of Memory 或是端口已占用的情况！输入获取的API KEY。

原创 第五节课《LMDeploy 量化部署 LLM 实践》

PDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666提取码：6666。

原创 第四节课《XTuner作业》

视频链接：https://b23.tv/BrTSfslPDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666提取码：6666。

原创 第四节课《XTuner 微调 LLM：1.8B、多模态、Agent》

为什么微调？基础模型不能满足特定领域需求。增量预训练：简单的增加新的知识指令跟随：问答的形式，学会人类指令。基座模型只是单纯的拟合训练数空间分布，无法意识到输入是一个问题，返回一个类似于最相似的结果，如上图test。指令微调输入的是一问一答的聊天，可以理解输入的是问题。一条数据的一生原始数据：如爬虫得来的标准格式数据：训练模型能接受的输入XTuner中json形式为了让大语言模型能够区分出三种角色，实际上就是增加标注，并且在实际训练的时候还要增加其实标识符。Token方案：LoRA和QLoRA。

翻译 InternLM2 Technical Report

AbstractInternLM2是一个开源的LLM（Large Language Models）InternLM2详细的展示了如何准备训练数据：文本、代码、长上下文数据InternLM2有效的捕获长依赖关系，初始训练在4k tokens上，而后在32k tokens上预训练并微调，然后在200k tokens上进行测试。InternLM2使用的对齐方法：Supervised Fine-Tuning(SFT) Conditional Online Reinforcement Learn

原创 第三节课《香豆：搭建你的 RAG 智能助理》

Advanced RAG：检索前后都进行增强，检索的问题路由扩展，检索到的信息进行重排序总结融合，运用在摘要生成和内容推荐。Modular RAG: 将RAG基础部分和后续功能进行模块化，根据业务进行定制，完成多模态任务、对话系统等更高级的任务。问题+检索结果作为提示词prompts-->生成generation-->回答answer。RAG：提问query-->向量化embedding--->搜索indexing-->检索retieval->迭代检索：根据检索结果多次迭代检索知识，提供知识基础。

原创 第二节课《轻松玩转书生·浦语大模型趣味 Demo》

比较匆忙，假期前仿照第一期课程的内容好像被清空了，重新搭建一次。按照那老师写好的，一步步复制就好了。

原创 第一节课《书生·浦语大模型全链路开源体系》

技术报告等看完樱花回国再补上。

原创 python3.12 下安装onnx

查了好久都差不到，大意就是optional冲突，看到大佬再末尾提到了protobuf版本的问题，然后我在cmd编译的时候，发现我自己电脑安装了protobuf-compiler（环境变量），而且是很早版本的。一、删掉电脑的protobuf及环境变量。一直提示各种各样的错误，例如。二、将下载onnx代码。

转载 BUG: configparser.NoSectionError: No section: ‘versioneer‘

【代码】BUG: configparser.NoSectionError: No section: ‘versioneer‘

转载 Failed to connect to www.google.com port 80 after 21060 ms

因为自己有V P N拉去代码的时候由于子模块指定的是内部域名和IP的对应关系，代理无法解析，即便是改了很多的hosts文件也没办法解决，最终解决方案。

原创 Python打包的exe反编译

下载：https://github.com/extremecoders-re/pyinstxtractor。记得把pyinstxtractor.py拷贝到当前exe目录。1、将exe反编译成.pcy。2、将pyc编译成pv。

原创 CUDA核函数，如何设置grid和block即不超过大小又能够遍历整个volume

定义，其三个分量分别表示在 x、y、z 方向上的 Grid 数量。Grid 的大小不应该超过 GPU 的最大 Grid 大小。3、如果最大的 Grid 和 Block 依然不能覆盖整个体积，你可以通过多次调用核函数，每次处理部分数据，以覆盖整个体积。在这种情况下，你可以将体积分成块。定义，其三个分量表示在 x、y、z 方向上的线程数量。Block 的大小不能超过 GPU 支持的最大线程块大小。确保 Grid 和 Block 的大小设置能够覆盖整个体积。此问题答案来自于openAI。Block 的大小由。

原创 ValueError: invalid literal for int() with base 10: ‘cuda:0‘

detectron2 转onnx时出现的问题，升级torch就好了。

原创 TenserRT（八）： TensorRT C++实战推理

【代码】TenserRT（八）： TensorRT C++实战推理（类别2）

原创 TenserRT（七）： TensorRT Python实战

2、生成trt engine。3、engine推理。

转载 TenserRT（六）： TENSORRT 模型构建与推理

tensorrt提供量化感知训练和离线量化功能，用户可以选择INT8和FP16两种优化模式，目前可能是在NVIDIA GPU部署最快的推理模型。

转载 TenserRT（五）ONNX模型的修改与调试

ONNX怎么在protobuf定义文件里描述一个神经网络。神经网络的本质是一个计算图，计算图的节点是算子，边是参与运算的张量，查看ONNX模型知道，ONNX记录了所有算子节点的属性信息，并把参与运算的张量信息存储在算子节点的输入输出信息中。ONNX模型结构类图ONNX模型用ModelProto类表示：版本、创建者、graph计算图结构。graphProto类包含：输入张量信息、输出张量信息、节点信息。valueinfoproto类包含：张量名、基本数据类型、形状。

转载 TenserRT（四）在 PYTORCH 中支持更多 ONNX 算子

torch/_C/_VariableFunctions.pyi和两个文件可以获取函数的输入定义，这两个文件是编译pytorch时自动生成的，里面包含了ATen算子的pytorch调用接口，在torch/_C/_VariableFunctions.pyi中搜索asinh接口为缺失算子为asinh，在ATen中实现的算子，在_VariableFunctions.pyi找到对应接口，需要补充对应的符号函数，使其在转场ONNX时不在报错。#定义一个包含算子的模型。

原创 Segment Any Medical-Model (SAMM)在3D slicer上部署

五、将segment-anything相关文件拷贝到对应目录。四、安装3D slicer 依赖库。六、安装3Dslicer 插件。一、下载代码仓库和权重文件。三、安装3D slicer。

原创 Linux .sh 结尾\r

原创 vckpage/configure 权限不够

vckpage/configure 权限不够。在当前文件夹及子文件夹权限都打开。

原创 MMPose（openmmlab AI实战营二期第一节）

这里类似于不连续线段检测，如何将不连续的线段组合成一条长的连续线段。