Maggie_JK的博客

原创 hadoop学习笔记

专为离线和大规模数据分析而设计的，可编写和运行分布式应用处理大规模数据。

原创 参数服务器（PS）

将模型划分为N个参数服务器，每个参数服务器负责更新1/N的模型参数。实际上是将模型参数分片（sharded model）并存储在多个参数服务器上，可以缓解参数服务器一侧的网络瓶颈问题，使得参数服务器之间的通信负载减少，提高整体的通信效率。worker充当计算节点负责模型训练，执行网络的正反向计算，反向计算的梯度值通过 Push 接口上传至 Server 中，通过 Pull 接口把 Server 更新好的模型下载到 Worker 本地。PS架构中有两个角色：parameter server和worker。

原创 python中的yaml文件

大小写敏感使用缩进表示层级关系缩进时不允许使用Tab键，只允许使用空格。缩进的空格数目不重要，只要相同层级的元素左侧对齐即可使用#表示注释字符串可以不用引号标注。

转载 tfrecord格式

其中string表示特征名。tf.train.Feature同样是tensorflow的一个对象，tf.train.Feature的一个类就表示一个特征，特征的值就保存在tf.train.Feature 中。tf.train.example 只有一个属性features，features也是tensorflow的一个对象类型tf.train.Features，tf.train.Features也只有一个属性feature，tfrecord是一种二进制文件格式。

原创 sql的常用操作

从 "Websites" 表中选取所有网站，并按照 "country" 和 "alexa" 列排序。从 "Websites" 表中选取国家为 "CN" 且alexa排名大于 "50" 的所有网站。从 "Websites" 表中选取所有网站，并按照 "alexa" 列排序（默认是升序）从 "Websites" 表中选取国家为 "USA" 或者 "CN" 的所有客户。表示从table_name这个表中获取“name"和"country"列。按照 "alexa" 列排序，降序。用于对结果集进行排序。

原创 sql的基本概念

1.sql是处理和访问数据库的计算机语言，mysql是数据库。3.分号是在数据库系统中分隔每条 SQL 语句的标准方法。2.sql对大小写不敏感。

原创 lightweight image super-resolution with superpixel token interaction(ICCV2023)

原创 dataset和dataloader细节

原创 CUDA切换版本

在/usr/local目录下可以看到已经安装好的多个版本的cuda。通过nvcc -V查看当前使用的cuda版本。在~/.bashrc文件中设置环境变量。设置软链接，切换到11.1版本。

原创 superpixel sampling networks(ECCV 2018)

原创 SLIC原理及应用

【代码】SLIC原理及应用。

原创 显卡、显卡驱动、cuda的关系

因此，在使用 CUDA 之前，需要先安装与显卡相应的显卡驱动程序。在安装了 cudatoolkit 后，只要系统上存在与当前的 cudatoolkit 所兼容的 Nvidia 驱动，则已经编译好的 CUDA 相关的程序就可以直接运行，而不需要安装完整的 Nvidia 官方提供的 CUDA Toolkit .使用 Nvidia 官网提供的 CUDA Toolkit 可以安装开发 CUDA 程序所需的工具，包括 CUDA 程序的编译器、IDE、调试器等，CUDA 程序所对应的各式库文件以及它们的头文件。

原创 git clone

git clone + url的方法有时候行不通，首选git clone + ssh需要配置ssh。

原创 MMdetection-自定义数据集训练模型

MMDetection 支持在 Linux，Windows 和 macOS 上运行。它需要 Python 3.7 以上，CUDA 9.2 以上和 PyTorch 1.8 及其以上。step1:使用 MIM 安装 MMEngine 和 MMCV。如果你开发并直接运行 mmdet，从源码安装它。step2:安装 MMDetection。step1:将手势数据集转成coco格式。step3:运行train.py训练模型。step2:修改配置文件。

原创 Ubuntu22.04下安装微信

下载微信（wine）包。下载Wine环境包和。

原创 SENet实验策略

验证excitation作用的时候，它选取了四个差别较大的类，然后在测试集中每个类选50个样本，对于resnet50的每个层，将经过senet以后的通道激活值求出来，然后50个样本的激活值取平均作为该类别的激活值，画出这四个类别的通道激活值曲线作对比。squeeze操作的作用：获得全局上下文信息，excitation操作的作用：使类间和类内的物体提取到的特征通道差异化。SE-PRE block效果比standard SE效果好一点点。squeeze操作用avg pool比max pool效果好。

原创 micromamba安装及虚拟环境创建

包管理器的重实现，比conda下载要快很多很多！(自动安装的办法貌似行不通，我是手动安装的）micromamba是。

原创 CUDA安装了但nvcc -V显示command not found

安装了驱动程序，同时也安装了CUDA，但使用nvcc -V知识补充：为什么要使用nvcc命令？使用nvcc -V命令可以查看CUDA的版本，如下所示为正常的输入、输出内容，可以看出通过nvcc -V命令，可以看到目前所使用的CUDA版本。

原创 git原理及工作流程

git原理及工作流程

原创 yolov5之修改骨干网络后预训练权重加载

根据观察我们发现，由于加入了分支结构（多了4层），原模型的层的序号是发生了挪位的，比如csd.keys()中'model.4.cv1.conv.weight'这个键的值应该对应加载给model.state_dict().keys()中的‘model.8.cv1.conv.weight'此时，预训练权重加载出现问题，从更改位置开始直到最后的预训练权重是加载不上的，因为网络更改后，预训练权重的键值对和模型的键值对对应不上。然后就可以用新写的csd正常加载预训练模型了。

原创 Better to follow, follow to be better(2019 ICCV)

基于GAN的特征层级超分技术增强小目标的特征。

原创 (WACV2021)Effective Fusion Factor in FPN for Tiny Object Detection

引入融合因子来改进FPN检测器在微小目标检测领域的性能。

原创 QueryDet论文解析（2022 CVPR oral paper）

QueryDet论文解析（2022 CVPR oral paper）一种加速检测器推理速度的方法--级联稀疏查询