梦坠凡尘

原创 模型剪枝学习笔记 --- EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning

论文：https://arxiv.org/abs/2007.02491代码：https://github.com/anonymous47823493/EagleEye这篇论文一定要好好研究下，提出该剪枝方法的是暗物智能科技&中山大学，当初去面试过该公司，聊了将近一小时，大部分是关于剪枝的内容。。。。。。。可惜自己真实菜如狗。。。。。...

原创 [目标检测新范式]DETR --- End-to-End Object Detection with Transformers

论文：https://arxiv.org/abs/2005.12872代码：https://github.com/facebookresearch/detr参考https://blog.csdn.net/longxinchen_ml/article/details/86533005

原创 YOLOv4的Tricks解读一 --- 多图融合的数据增强（MixUp/CutMix/Mosaic）

目录数据增强MixUpCutMix==Mosaic==正则化DropOut==DropBlock==YOLOv4中红涉及到了一推的trick，可以说是目标检测的trick字典，而YOLOv4是精挑细选了一些Trick才使YOLOv4在速度和准确度上相比YOLOv3有了更大的提升。本文就YOLOv4中涉及和采用的部分tricks进行总结和学习。（注：标题标红的trick为YOLOv4所采用）YOLOv4 = CSPDarknet53 + SPP + PAN + YOLOv3而YOLOv4采用的tric

原创 YOLOv4实战尝鲜 --- 教你从零开始训练自己的数据集（安全头盔佩戴识别检测）

本文代码基于：https://github.com/ultralytics/yolov3首先介绍数据集，来源于AI研习设的一个比赛，见链接：https://god.yanxishe.com/32

转载 PyTorch Cookbook --- 常用代码段整理合集

本文代码基于PyTorch 1.0版本，需要用到以下包import collectionsimport osimport shutilimport tqdmimport numpy as npimport PIL.Imageimport torchimport torchvision1. 基础配置检查PyTorch版本torch.__version__ ...

原创 百川大模型【Baichuan-13B】发布：更大尺寸、更多数据、对话能力更强

Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。在Baichuan-13B文件夹下新建文件夹baichuan-inc，然后从https://huggingface.co/baichuan-inc/Baichuan-13B-Chat置于baichuan-inc文件夹中。但是我量化后推理体感变慢了？

原创 万物识别RAM：高精度地识别任何常见类别，Zero-Shot能力超越有监督方式

一个强大的图像标记基础模型。RAM为计算机视觉中的大型模型迈出了实质性的一步，展示了zero-shot能力，可以高精度地识别任何常见类别。RAM为图像标记引入了一种新的范例，利用大规模的图像文本对进行训练，而不是手动标注。RAM的发展包括四个关键步骤。（1）首先，通过文本语义自动解析，大规模获取无标注的图像标签;（2）随后，通过统一标题和标注任务，分别由原始文本和解析标签监督，训练一个初步的自动标注模型。（3）其次，利用数据引擎生成额外的注释并清除不正确的注释。

原创 VisCPM：清华系开源的多模态大模型，支持中英双语对话和文图生成

同样提供了两个模型版本，分别为VisCPM-Paint-balance和VisCPM-Paint-zhplus，前者在英文和中文两种语言上的能力较为平衡，后者在中文能力上更加突出。---------------------------------------文生图-----------------------------------------------------------------------------多轮对话--------------------------------------

原创 中科院开源多语言大模型Bayling【百聆】：性能媲美GPT-3.5

大型语言模型(llm)在语言理解和生成方面表现出了非凡的能力。从基础llm到后续llm，指令调整在使llm与人类偏好保持一致方面起着至关重要的作用。然而，现有的llm通常专注于英语，导致非英语语言的表现较差。为了提高非英语语言的性能，需要为基础llm收集特定语言的训练数据，并构建特定语言的指令进行指令调优，这两者都是繁重的工作。为了最大限度地减少人工工作量，我们建议通过交互式翻译任务将语言生成和指令遵循的能力从英语转移到其他语言。

原创 U-Lite：仅有878K参数的UNet家族最小成员，性能优于UneXt

卷积神经网络(cnn)和基于transformer的模型由于能够提取高级特征和捕获图像的重要方面而被广泛应用于医学图像分割。然而，通常需要在高精度和低计算成本之间进行权衡。具有较高参数的模型理论上可以获得更好的性能，但也会导致更高的计算复杂度和更高的内存使用，因此不适合实现。在本文中，我们寻找一种轻量级的基于u - net的模型，它可以保持相同甚至达到更好的性能，即U-Lite。我们基于深度可分卷积的原理设计了U-Lite，使该模型既可以利用cnn的强度，又可以减少大量的计算参数。

原创 CLIP与Chinese-CLIP：多模态预训练模型解读和图文检索体验

CLIP是2021年OpenAI提出的基于图文对比学习的多模态预训练模型，具备强大的zero-shot迁移能力。数据集：来源于互联网上搜集的4亿个image-text对，涵盖了50万个qurey，并尽量保持不同qurey的数据量均衡。核心思想：将image-text对当做一个整体，基于对比学习的方法，模型训练时尽可能地提高image与对应text的特征相似度，尽可能的降低image与不配对text的相似度。

原创 VisualGLM-6B：支持图像、中英文的多模态对话模型解读与本地化部署

之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案。VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；以CogView为例，输入token既包含了文本token，也包含了Image token，所以Transformer既建模了文本也建模了图像，并且建模了文本到图像这种跨模态的过程。在生成图像长描述的时候，距离图像较远时，语言模型的将占主导，有一定可能根据上下文生成并不存在于图像的内容。

原创 DIPNet：NTIRE 2023 图像复原和增强赛事Efficient Super-Resolution赛道冠军方案

采用一个多层级蒸馏方法，首先利用增强的 GT 训练一个比较大的 Teacher Net，然后用 Teacher Net 对 Student Net （也就是我们的小模型）进行特征层面和图像层面的蒸馏（除了特征层面的蒸馏监督外，对最后输出图像也进行了大模型输出图像监督以及增强 GT 的监督）。这里在RLFN的块RLFB的基础上，引入了可重新参数化的拓扑结构，包括串行的卷积重参数化和并行的重参数化，这种方法为我们带来的无损的精度提升。式中Φ为剪枝操作，r为剪枝率，Φ为微调操作，sp为第i次剪枝后的网络。

原创 轻量级网络CNN系列（二）：GhostNetV2

而在 DFC 中，每个 patch 的注意力值的计算直接与它水平或垂直位置的 patch 有关，而这些水平或垂直位置的 patch 的计算又与它们水平或垂直位置的 patch 有关。DW卷积的一个卷积核负责一个通道，例如对一个3×5×5的图片，输出通道数要与输入通道数相同，则普通卷积操作需要3×3×3×3的卷积核，但DW卷积操作只需要3×3×3的卷积核。PW卷积相反，是一个1×1×C的卷积核，对每个通道的相同位置进行加权和，C为输入特征图的通道数，若输出通道数为5，则卷积核shape为C×1×1×5。

原创 轻量级网络CNN系列一：RepGhost

AICV与前沿特征重用是轻量级网络设计中的一个关键技术。目前的方法通常是利用级联运算符通过通过重用来自其他层的特征映射来廉价地保持大通道数(因此大网络容量)。尽管级联与参数和flops无关，但它在硬件设备上的计算成本是不可忽略的。针对这一问题，本文提出了一种利用结构参数化技术实现特征复用而不是使用串联运算符的新思路。通过重参数化实现硬件高效的轻量级CNN模RepGhost模块。基于RepGhost模块，开发了高效的RepGhost bottleneck和轻量级网络RepGhostNet。

原创 成功解决RuntimeError: multi-target not supported at /pytorch/aten/src/THCUNN/generic/

计算交叉熵时报错：RuntimeError: multi-target not supported at /pytorch/aten/src/THCUNN/generic/ClassNLLCriterion.cu:15维度不匹配导致input, target的维度与F.cross_entropy()函数要求的维度不匹配解决方法：F.cross_entropy( input, target.squeeze() )...

原创 解决 pthreadpool-cpp.cc:90] Warning: Leaking Caffe2 thread-pool after fork. (function pthreadpool)

解决方法：DataLoader函数中参数改成pin_memory = False

原创 报错subprocess.CalledProcessError: Command ‘[‘which‘, ‘g++‘]‘ returned non-zero exit status 1

安装MultiScaleDeformableAttention 模块报错如上原因： 没有安装g++ 可通过g++ -V查看解决：安装g++sudo apt-get install build-essential

原创 syntax error: unexpected end of file

bash 运行.h文件报错syntax error: unexpected end of file原因.sh文件编码不是unix编码可查看编码格式步骤如下：1、vi xx.sh2、ctrl + c 进入编辑模式3、运行:输入set ff enter，可以看编码格式修改编码格式1、vi xx.sh2、ctrl + c 进入编辑模式3、运行:输入set ff = unix enter，可以看编码格式4、运行:wq退出...

原创 安装nccl教程

运行百度的paddle多卡训练需要依然nccl，所以需要安装nccl，本文提供压缩包的nccl安装方式，亲测可用1.通过英伟达nccl下载 nccl 的txz安装包2.解压nccl压缩包，得到两个文件夹include 和 lib, 如图：3.将include文件夹下的文件都复制到cuda文件夹下对应的inlcude中去sudo cp include/* /usr/local/cuda-11.0/includesudo cp lib/* /usr/local/cuda-11.0/lib6

原创 报错 bash: /bin/xxx: /data2/../envs/py37pp/bin/python: bad interpreter: No such file or directory

解决办法which xxx找到xxx的位置，然后vi xxx修改第一行为正确的python路径即可！！！！

原创 linux下创建python虚拟环境报错Collecting package metadata (current_repodata.json): failed CondaH

解决方法vi ~/.condarc改变内容如下：channels: - defaultsshow_channel_urls: truechannel_alias: https://mirrors.tuna.tsinghua.edu.cn/anacondadefault_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/a

原创 融合两个模型的权重 - 权重平均

model_list = [ './ckpt/rexnetv2_live_labelsmooth_plus65_eh3_94.77.pt.tar', './ckpt/rexnetv2_live_labelsmooth_plus65_eh5_96.36.pt.tar', ]# 融合两个模型，模型一的backbone + 模型二的全连接层def integration2(model_list, fl_

原创 push文件到github报错：error: failed to push some refs to ‘git@git.kgidc.cn:fanxing_AI/Terror.git‘

通过以下解决git pull --rebase origin mastergit push origin master

原创 卷积特征图大小计算

原创 解决Failed to export an ONNX attribute ‘onnx::Gather‘ 报错

问题使用CAAttention转换onnx时出现如题错误，原因是AdaptiveAvgPool2d()里面的参数没有常量化。class CoordAtt(nn.Module): def __init__(self, inp, oup, reduction=32): super(CoordAtt, self).__init__() self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) self.pool_w =

原创 pandas删除包涵特定字符串所在的行

import pandas as pddf = pd.read_csv('./1111.csv')print('原来的是: ', df.shape)y = df[df['filename'].str.contains('other')] # 这里填写需要删除的关键字！！！！！！！！！print('需要删除: ', y.shape)new = df.drop(df[df['filename'].str.contains('other')].index)print('剩下的是 ： ', new

原创 求两个dataframe的差集

import pandas as pdimport numpy as npcsv2_5 = pd.read_csv('2.5++.csv')csv3_0 = pd.read_csv('3.0++.csv')# print(csv2_5)#取差集 在csv3_0中但不在csv2_5中# 合并数据集# csv3_0 = csv3_0.append(csv2_5)csv3_0 = pd.concat([csv3_0, csv2_5], axis=0, ignore_index=True).s

原创 MNN模型输出与ONNX模型输出对不上

如题，本次bug原因是MNN的输出格式是NC4HW4，需要将其转为NCHW即可。附上MNN文档源码如下：import MNN.expr as Fvars = F.load_as_dict("model.mnn")inputVar = vars["input"]# 查看输入信息print(inputVar.shape)print(inputVar.data_format)# 修改原始模型的 NC4HW4 输入为 NCHW，便于输入if (inputVar.data_format == F.N

原创 opencv和Image加载图片数据时出现图片不能打开的处理方法（try.....except.......）

from PIL import Imageimport torchvision.transforms as transformsimport torchfrom torch.utils.data.dataset import Datasetimport numpy as npimport cv2import randomfrom PIL import ImageFileImageFile.LOAD_TRUNCATED_IMAGES = TrueImage.MAX_IMAGE_PIXELS

原创 Pandas下dataframe根据条件删除行

df = df.drop(df[(df['pred_id']==7) | (df['pred_id']==6)].index) #删除正常的行df['img'] = df['img'].apply(lambda x: 'kg_live_100w/' + x.split('/')[-1]) # 只保留图片名字

原创 A dataframe过滤掉B dataframe中的所有数据

import pandas as pdimport oslive_img_expand = pd.read_csv('img_expand.csv')live_img_test = pd.read_csv('test_list.csv')print(live_img_test.shape)print(live_img_expand.shape)live_img_expand_train=live_img_expand[~live_img_expand['filename'].isin(live

原创 解决 OSError: cannot identify image file 或者 Caught TypeError in DataLoader worker process 8

跑模型在读取数据是出错如题，找了两个多小时干到深夜依然不能解！！！本地把数据过了一遍都是OK的，代码也是一样！！！一模一样的代码一模一样的数据为何本地OK，服务器就挂了？？？？最后网上给百度说是可能是Pillow版本的原因本地是Pillow == 5.2.0服务器是5.1.0最后将服务器升级为 Pillow5.2.0==真的解决了！！！！！！！！！谜之答案！！！！！浪费晚上两个多小时。心痛！谨记！...

原创 IndexError: Dimension out of range (expected to be in range of [-1, 0], but got 1)

报错代码criterion = nn.CrossEntropyLoss().to(device)loss = criterion(output, target)网上很多说criterion的第一个输入问题，我的解决是改变batchsize 大小即可

原创 解决ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.22‘ not found

问题：from sklearn.metrics import classification_report,accuracy_score报错：ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.22’ not found (required by /data2/deliancen/anaconda/lib/python3.6/site-packages/scipy/fft/_pocketfft/pypoc

原创 加载预训练权重的部分参数

pretrained_dict = ...model_dict = model.state_dict()# pretrained_dict: ['A', 'B', 'C', 'D']# model_dict: ['A', 'B', 'C', 'E']# 1. filter out unnecessary keyspretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}# pretrain

原创 Linux下常用命令（持续更新）

将一个文件夹下的所有内容复制到另一个文件夹下cp -r /home/packageA/* /home/cp/packageB/或cp -r /home/packageA/. /home/cp/packageB/拷贝一个文件到另一个地方cp -r /home/packageA/* /home/cp/packageB/

原创 ReXNet学习笔记 --- ReXNet: Diminishing Representational Bottleneck on Convolutional Neural Network

论文：https://arxiv.org/pdf/2007.00992.pdf代码：https://github.com/clovaai/rexnet挺久没有看新论文了，，只有学习才能让我快乐！！摘要本文解决了网络中的representational bottleneck，并提出了一组可显著提高模型性能的设计原则。作者认为，representational bottleneck可能会出现在由常规设计设计的网络中，并导致模型性能下降。为了研究representational bottleneck，作者

原创 上传本地代码到github常用command

手生了～～～～记录下创建一个新的new repositorygit initgit add xxxx(这里是你要上传的文件)git status(查看状态)git diff(查看变更)git commit -m 'xxx'(本次update的说明)git remote add origin xxx(你的git地址)git push -u origin master(上传到主分支)Push现有的gitgit remote add origin xxx(你的git地址)git push

原创 Ubuntu16.04下成功安装C++版本的Opencv4.3

目录环境准备下载Opencv4.3安装配置环境验证安装环境准备安装cmakesudo apt-get install cmake安装依赖环境sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg-dev libswscale-dev libtiff5-devsudo apt-get install libgtk2.0-devsudo apt-get install pk