小李的研究生学习日记

原创 CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录

本专栏将通过系统的深度学习实例，从可解释性的角度对深度学习的原理进行讲解与分析，通过将深度学习知识与Pytorch的高效结合，帮助各位新入门的读者理解深度学习各个模板之间的关系，这些均是在Pytorch上实现的，可以有效的结合当前各位研究生的研究方向，设计人工智能的各个领域，是经过一年时间打磨的精品专栏！

原创 Faster-RCNN·代码解读系列03：一口气拿下Faster Rcnn模型代码详解

Faster R-CNN是一种高效的目标检测框架，它巧妙地整合了区域提案网络（RPN）与深度卷积神经网络，利用共享卷积层从输入图像中抽取特征；RPN基于这些特征生成高质量的候选区域（对象建议），随后通过ROI池化层标准化这些区域的尺寸，最后送入分类与边界框回归模块，确定每个区域中的对象类别及其精确位置，从而实现既快又准的对象识别任务。

原创 【数据集处理工具】将COCO格式数据集的val.json与tett.json文件合并为一个json

合并images字段：脚本会将来自不同JSON文件的图像信息列表合并在一起，构建一个统一的图像信息集合。合并字段：脚本在合并标注信息时，会确保每个标注的ID（id字段）在最终的合并数据集中是唯一的。这通过追踪已有的最大标注ID并在导入新的标注时递增ID来实现。保留categories字段：由于假定所有数据集的类别信息一致，脚本默认从第一个数据集中复制categories字段到合并后的数据集，而不做任何改变。保留其他元数据：脚本还会保留info和licenses。

原创 【数据集处理工具】根据COCO数据集的json标注文件实现训练与图像的文件划分

COCO（Common Objects in Context）数据集是一种广泛使用的图像数据集，它不仅包含了丰富的图像资源，还提供了详尽的标注信息，包括物体检测、分割、关键点定位等。COCO JSON文件是一种结构化的数据格式，用于存储关于图像的元数据和标注细节，例如图像ID、文件名、图像尺寸以及各种标注信息。

原创 Faster-RCNN·代码解读系列02：一口气拿下Faster RCNN模型及其设计原理

本文旨在详细解析Faster R-CNN的工作原理及其设计原理，帮助读者深入理解这一重要模型。Faster R-CNN是在Fast R-CNN的基础上进一步发展的，其核心贡献在于引入了RPN网络，实现了候选框（Region Proposal）的自动生成，从而替代了传统的Selective Search算法，大大提升了检测速度。Faster R-CNN通过共享卷积特征，将RPN和Fast R-CNN融合为一个端到端的网络，实现了更高效的训练和检测。

原创 Faster-RCNN·代码解读系列01：Selective Search 和 R-CNN、Fast-CNN 简介

首先需要一个已经训练好的分类器，然后把图像按照一定间隔和不同的大小分成若干窗口，在这些窗口上执行分类器，如果得到较高的分类分数，就认为是检测到了物体。把每个窗口都用分类器执行一遍之后，再对得到的分数做一些后处理如非极大值抑制(Non-Maximum Suppression, NMS)等，最后就得到了物体类别和对应区域，其方法示意图如图所示。滑窗法相当于对一张图像上的子区域进行类似穷举式的搜索， 一般情况下这种低效率搜索到的区域里大部分都是没有任何物体的。

原创 CSF视频文件格式转换WMV格式（2024年可用）

推荐一款高效、易用的CSF格式转换为WMV格式的工具，旨在帮助用户无缝跨越格式壁垒，享受无损且流畅的视频体验。产品亮点：一键转换：这款工具设计简洁直观，用户只需几步简单操作即可完成CSF格式到WMV格式的转换。无需专业知识，轻松上手。高质量输出：采用先进的视频编码技术，确保转换过程中视频质量最大化保留，无论是清晰度、色彩还是音频效果，都能得到近乎无损的转换结果。批量处理：支持批量添加CSF文件进行转换，大大节省时间，非常适合需要处理大量视频素材的用户。

原创 快速上手Pytrch爬虫之爬取某应图片壁纸

必应是微软推出的搜索引擎，相比于百度具有广告少的显著优点，比较良心。幸运的是已经有人完成了这项工作，具体请看这个网站：必应每日高清壁纸(这个网站收录了必应每天的主页图片，并且提供直接下载（管理猿太良心了，祝愿少掉一些头发，少写一些bug ）。但是博主发现这个网站缺少一个一键全部下载功能，只能一张一张图片手动下载，如果要把所有图片都下载下来，非常麻烦，因此用python写了一个下载网站上所有图片的小爬虫，分享给大家。

原创 知存科技助力AI应用落地：WTMDK2101-ZT1评估板实地评测与性能揭秘

随着当今数据迅速增长，传统的冯诺依曼架构内存墙正在成为计算性能进一步提升的阻碍。新一代的存内计算（IMC）和近存计算（NMC）架构有望突破这一瓶颈，显著提升计算能力和能源效率。本文将探讨存算一体芯片的发展历程、当前研究状态，以及基于多种存储介质（例如传统的DRAM、SRAM和Flash，以及新型的非易失性存储器如ReRAM、PCM、MRAM、FeFET等）的存内计算基本原理、优势与面临的挑战。通过对知存科技WTM2101量产芯片的深入解析与评测，重点展示存内计算芯片的电路结构及其应用现状。

原创 听力笔记2023

原创 MMdetection框架速成系列 第07部分：数据增强的N种方法

对图像的色彩进行数据增强的方法，其中最常用的莫过于 ColorJitter，这种方法会在一定范围内，对图像的亮度（Brightness）、对比度（Contrast）、饱和度（Saturation）和色相（Hue）进行随机变换，从而模拟真实拍摄中不同灯光环境等条件的变化。以上介绍的数据增强方法只是常用方法的一部分，更多的数据增强方法，如多种方法的随机组合（AutoAugment、RandAugment）、多张图片的混合增强（MixUp、CutMix）等。在图片的随机位置，按照指定的大小进行裁剪。

原创 MMdetection框架速成系列 第06部分：注册机制详解

比如说，我们现在想要使用注册器来管理我们的模型，首先初始化一个Registry实例MODELS，然后调用Registry类的register_module()方法完成ResNet和VGG类的注册，可以看到最后MODELS的打印结果中包含了这两个类的信息(打印信息中items对应的其实就是self._module_dict)，表示注册成功。注册机制是MMCV中非常重要的一个概念，在MMDetection中，如果想要增加自己的算法模块或流程，都需要通过注册机制来实现。

原创 Visio/PPT/Matlab输出300dpi以上图片【满足标准投稿要求】

遵照如下输出选项，另存为tif格式文件时，选择正确输出便是300dpi以上。

原创 【数据集可视化】COCO数据集标注可视化+代码实现

【代码】【数据集可视化】COCO数据集标注可视化+代码实现。

原创 MMdetection框架速成系列 第04部分：配置文件详细解析+文件结构剖析+Config类核心实现

ConfigDict是第三方库addict中Dict的子类，因为python原生的dict类型不支持.属性的访问方式，特别是dict内部嵌套了多层dict的时候，如果按照key的访问方式，代码写起来非常低效，而Dict类通过重写__ getattr __()的方式实现了.属性的访问方式。如果想要现在想要换一个新的优化器，但两个优化器的参数不兼容，需要删掉原来的键值，用一组全新的键值代替，这时可以通过配置。text存储的是各个配置文件（包含_base _中继承的文件）中的原始文本信息，会标识配置文件的路径。

原创 学术小技巧：如何使用easyscholar来提高论文查找效率

easyScholar是一款很好用的科研插件，可以显示会议期刊登记，支持轻量翻译，一键下载等等功能。

原创 深度学习模型训练中epoch、batch size和iterations之间的含义与区别

深度学习模型训练中epoch、batch size和iterations之间的含义与区别

原创 深度学习·理论篇(2023版)·第012篇反向传播与梯度计算：图像化反向传播+代码实现y=wx的反向传播+梯度消失的实质与案例+梯度爆炸+梯度检查+从信息传播的角度看后向传播算法

万字长文：图像化反向传播+代码实现y=wx的反向传播+梯度消失的实质与案例+梯度爆炸+梯度检查+从信息传播的角度看后向传播算法

原创 万字长文详解深度学习中元学习与小样本问题：如何理解模型自己学会学习？传统的监督学习与 Meta Learning 之间的区别？预训练的三个小改进？如何通过孪生网络完成元学习~

元学习希望使得模型获取一种学会学习调参的能力，使其可以在获取已有知识的基础上快速学习新的任务。机器学习是先人为调参，之后直接训练特定任务下深度模型。元学习则是先通过其它的任务训练出一个较好的超参数，然后再对特定任务进行训练。这些超参数可以是初始化参数、选择优化器、定义损失函数、梯度下降更新参数等。Few-shot Learning是Meta Learning中的一种，Meta Learning 的目的在于 学习如何学习，也就是学习方法论。

原创 Detectron2中运行demo.py时，报错：AssertionError: get_event_storage() has to be called inside a ‘with EventSt

AssertionError: get_event_storage() has to be called inside a 'with EventStorage(...)' context!

原创 推荐系统中的卷积

水平卷积的特点： filter 的宽 与 embedding 矩阵的宽是相等的，在embedding 矩阵从上向下滑动的过程中是通过 filter 的高 来控制要关注几个行为。如图所示，水平卷积层中的卷积在 latent space 上滑动并卷积计算后通过激活函数得到的向量，再通过一个max-pooling ，取出向量中最大的一个值，最后若干卷积的结果 concat 到一起就是该层的输出。举个例子，如下图，历史行为有4个，要预测的候选为长城和酒吧。

原创 Pytorch疑难小实验：Torch.max() Torch.min()在不同维度上的解释

【代码】Torch.max() Torch.min()在不同维度上的解释。

原创 深度学习·理论篇(2023版)·第011篇卷积神经网络计算公式与参数量频域计算：卷积计算详解+卷积层全连接层池化层参数量计算+计算频域卷积

卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）

原创 深度学习·理论篇(2023版)·第010篇多种卷积与可视化：单通道与多通道卷积可视化+(空间可分离卷积+深度可分离卷积+分组卷积+反卷积+八度卷积)可视化+OctConv模型理论

二维情况下的卷积和一维并没有本质上的不同，下面略过公式，直接来形象理解。深度学习·理论篇：单通道与多通道卷积可视化+(空间可分离卷积+深度可分离卷积+分组卷积+反卷积+八度卷积)可视化+OctConv模型理论

原创 深度学习·理论篇(2023版)·第009篇卷积与多维卷积的矩阵频域计算：点积与卷积的可视化+卷积在深度学习中的作用+卷积的理论支撑与公式详解+图像化表示一维卷积的不同情况

卷积神经网络是深度学习中应用最广泛的一种网络，而卷积就是这种网路的基础。本节就来了解卷积的概念，性质和计算方式。点积与卷积的可视化+卷积在深度学习中的作用+卷积的理论支撑与公式详解+图像化表示一维卷积的不同情况

原创 2023.3.5英语单词学习笔记

英语单词

原创 代码import torch 报错 ImportError: numpy.core.multiarray failed to import

使用Anaconda安装pytorch后，import torch报错 ImportError: numpy.core.multiarray failed to import 【解决方案】

原创 【报错解决】ERROR: pip‘s dependency resolver does not currently take into account all the packages

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.

原创 numpy 报错：”AttributeError: module ‘numpy‘ has no attribute ‘bool‘“

解决方案 numpy 报错：”AttributeError: module 'numpy' has no attribute 'bool'“

原创 fatal: unable to access ‘https://github xxxxxxxxx的解决方法

将命令中的 https改为 git。

原创 MMdetection框架速成系列 第03部分：简述整体构建细节与模块+训练测试模块流程剖析+深入解析代码模块与核心实现

本文基于第一篇解读文章，详细地从三个层面全面解读了 MMDetection 框架，希望读者读完本文，能够对 MMDetection 框架设计思想、组件间关系和整体代码实现流程了然于心。

原创 “Could not find suitable distribution for Requirement.parse(‘XXXX‘)”的问题

【代码】“Could not find suitable distribution for Requirement.parse(‘XXXX‘)”的问题。

原创 深度学习·理论篇(2023版)·第008篇实际应用中的PCA主成分分析：什么是主成分+特征向量特征值求解主成分+降维归一化与相关系数的概念+降维的手段+什么数据适合PCA

第008篇实际应用中的PCA主成分分析：什么是主成分+特征向量特征值求解主成分+降维归一化与相关系数的概念+降维的手段+什么数据适合。既然高维度带来了如此多的灾难，一个很自然的想法就是降低维度，然后在低维度下解决问题。例如： x’=f(x)，如果x’相对于x是一个维度很低的向量，则相当于达到了降维的效果。关于降维，先举一个最简单的例子，即主成分分析（Principal Component Analysis,PCA)，考虑如下的协方差矩阵对应的高斯分布的样本，如图2-33所示。

原创 COCO转VOC代码:将coco格式的json文件转换为voc格式的xml文件

【代码】COCO转VOC代码。

原创 Linux使用解压命令unzip报错：unzip: cannot find zipfile directory in one of xxx.zip

在linux服务器下使用rz上传压缩文件，用unzip命令解压zip包。报这种错误说明在文件上传或下载的过程中出现了文件丢失的情况，需要使用。，然后使用unzip命令或jar命令解压压缩文件。

原创 PASCAL VOC数据集分割为小样本数据集代码

【代码】PASCAL VOC数据集分割为小样本数据集代码。

原创 PASCAL VOC数据集训练集、验证集、测试集的划分和提取，得到test.txt、train.txt、trainval.txt、val.txt文件代码

创建py文件，将下属代码放入所创建的文件里，VOC2007数据集与py文件在同一目录下。

原创 MMdetection框架速成系列 第02部分：整体算法流程+模型搭建流程+detection训练与测试核心组件+训练部分与测试部分的核心算法

本文利用MMDetection已经实现的RetinaNet模型在COCO上进行训练作为示例，演示了MMDetection的模型训练流程。总的来说分为三个步骤：1、准备数据集2、准备配置文件：配置文件由一系列dict组成，dict中的type键值代表注册的类别，build函数可以通过识别dict中的type来初始化对应的类。配置文件一般会继承一个通用配置文件，然后在此基础上根据需求调整。3、开始训练：调用MMDetection自带的train.py进行训练。

原创 MMdetection框架速成系列 第01部分：学习路线图与步骤+优先学习的两个目标检测模型代码+loss计算流程+遇到问题如何求助+Anaconda3下的安装教程（mmdet+mmdet3d）

阅读顺序：深入理解 RetinaNet 后，再看 Faster R-CNN。学习路线图+代码学习步骤+优先学习的两个目标检测模型代码+loss计算流程的攻坚克难+遇到问题如何求助+Anaconda3下的安装教程（mmdet+mmdet3d）

原创 Git 分布式版本控制工具 06在IDEA中使用Git：获取Git仓库+本地仓库操作+远程仓库操作+创建/查看/切换/推送/合并分支操作

1）我们在使用Git管理项目代码时，并不是所有文件都需要Git管理，例如Java项目中编译的.class文件、开发工具自带的配置文件等，这些文件没有必要交给Git管理，所以也就不需要提交到Git版本库中。通过Git命令可以完成Git相关操作，为了简化操作过程，我们可以在IEDA中配置Git，配置好后就可以在IDEA中通过图形化的方式来操作Git。在IDEA中使用Git，本质上还是使用的本地安装的Git软件，所以需要提前安装好Git并在IDEA中配置Git。