m0_46246301的博客

可以用来做宣传视频的骚操作。

最近在做3DGS方向，整理了一下Blender生成自己的COLMAP数据集。

【代码】Depth maps转点云。

样本不平衡造成的问题就是，样本数少的类别分类难度大，因此Focal Loss聚焦于难分样本，解决了样本少的类别分类精度不高的问题，对于难分样本中样本多的类别，也会被Focal Loss聚焦。对于样本不平衡造成的损失函数倾斜，最直接的方法就是添加权重因子，提高少数类别在损失函数中的权重，从而平衡损失函数的分布。若Loss中难分类样本的权重较高，但是难分类样本的Loss梯度为0，难分类样本就不会影响到模型的参数更新。Focal Loss从样本难易分类的角度出发，解决了样本不平衡导致模型性能较低的问题。

动态场景图生成的目标是在给定的视频中生成场景图。与静态图片的场景图生成相比之下，它由于动态关系和时间依赖，能够获得更丰富的语义解释。本文提出STTran，包含了spatial encoder和temporal decoderspatial encoder：对输入的每一帧提取空间上下文以及视觉关系。temporal decoder：以spatial encoder的输出作为输入，从而捕获帧与帧之间的时间依赖关系，并推理动态关系。STTran能适用于不同时长的视频，尤其是能对长视频能有不错的效果。

VidHOI的开山之作。大量研究都是检测静态图片中的human-object-interaction(HOI)，在对视频推理时，跟时间相关的动态交互将无法判别，因为它们无法考虑到相邻帧之间的关系，只能对每一帧单独进行推理。然而，视频数据是有序且结构化的，动态交互（如push vs pull、open vs close）需要考虑多帧的特征才能准确推理。

Transformer最早是在NLP领域提出的，受此启发，Google将其用于图像，并对分类流程作尽量少的修改。

参考目前的静态图片HOI的SOTA模型(MUREN)，针对以往的1/2 branch的decoder的不足，它提出了three-branch architecture(human detection, object detection, interaction classification)

由于实习工作需要把语义分割结果可视化出来，要使用自定义颜色来区分不同的label，并绘制出图例并插入在图像右端。本文将介绍如何实现这样的语义分割结果图。

本期的内容将分为以下几个方面1. SAM自动化生成mask2. 压缩保存mask3. 超像素分割算法改进SAM(目前效果不佳，但可能以后能做出来)

室内3D目标检测的数据集主要包括了ScanNet、SUN-RGBD和S3DIS。TR3D是最新的SOTA模型，本文将介绍如何在MMdetection3D框架上对自己的数据进行处理、并用预训练好的TR3D等模型进行推理。TR3D的github：https://github.com/SamsungLabs/tr3dMMdetection3D的github：https://github.com/open-mmlab/mmdetection3d。

StrongSORT【摘要】现有的MOT方法可以被分为tracking-by-detection和joint-detection-association。后者引起了更多的关注，但对于跟踪精度而言，前者仍是最优的解决方案。StrongSORT在DeepSORT的基础之上，更新了它的检测、嵌入和关联等多个方面，由此产生了StrongSORT追踪器，在MOT17和MOT20数据集上缺德了新的HOTA和IDF1记录。同时，作者还提出了两个轻量化且即插即用的算法去提升跟踪结果，分别是AFLink和GSI。AFLi

在批量处理大量数据时，我们常常会选择使用多进程来提高代码运行速度，充分利用CPU/GPU。在此，记录了如何在CUDA上利用多进程来批量推理。

mmdetection好像不是很想输出mask，没有帮我们保存下来，我们只能自己去保存一下

cv领域的大模型SAM的安装、使用，以及与其他工具的结合，是接下来很长一段时间的基础模型。

经典的超像素分割算法

一个可视化小技巧

opencv常常出现各种报错，小记一下实践中出现的问题，避免走弯路。

应用背景已知目标区域由直线、曲线、圆等形状构成。目标检测问题转化为对直线、曲线、圆的检测问题 。而Hough变换就是将图像由图像空间变换为参数空间。原理图像空间中的一条线对应Hough空间中的一个点过点(x0,y0)和(x1,y1)的直线表示为Hough空间中两条线的交点图像空间中的点对应Hough空间中的一条线Hough变换的实现方式线性变换yi=mxi+b  −>b=−xim+yiy_i = mx_i+b \ \ -> b = -x_im

图像增强-直方图均衡化文章目录图像增强-直方图均衡化直方图定义定义1定义2对比直方图均衡化基本思想灰度级变换均衡化计算代码实现自己实现直方图均衡化opencv实现直方图均衡化对比自己的和opencv的效果直方图定义定义1一个灰度级在范围[0,L−1][0,L-1][0,L−1]的数字图像的直方图是一个离散函数h(rk)=nkh(r_k)=n_kh(rk​)=nk​其中，nkn_knk​是图像中灰度级为rkr_krk​的像素个数，rkr_krk​是第k个灰度级，k=0,1,2,...,L−1k=0,

图像增强-其他方法汇总这里汇总一下几个图像增强方法：直方图规定化、同态滤波器、彩色图像增强方法，测试结果图就懒得放了…直方图规定化针对直方图均衡化的存在的一些问题，将原始图像的直方图转化为规定的直方图的形式。一般目标图像的直方图的确定需要参考原始图像的直方图，并利用多高斯函数得到。import osimport cv2import numpy as npimport matplotlib.pyplot as pltimport matplotlib.image as mpimg%mat

图像增强-基于滤波的方法小记一下多种滤波方法的代码实现！局部二值模式（LBP）1996年由Ojala提出的特征提取方法，具有灰度不变性和旋转不变性，主要用于纹理特征提取。其基本思想是：用中心像素的灰度值作为阈值，与它的邻域相比较得到的二进制码来表述局部纹理特征。以中心点为基准，在3*3的窗口内，与8个相邻点进行比较，若小于中心点，则该位置被置0，否则被置1，这样可以得到一个8位二进制数，即共256种的LBP码。然后利用这个LBP值来反映该区域的纹理信息，值得注意的是，LBP值是顺时针组成的二

文章目录基本概念图像增强分类基本灰度变换图像反转对数变换幂次变换分段线性变换函数算数/逻辑操作图像逻辑运算图像算术运算图像减运算图像加运算图像乘运算直方图定义定义1定义2对比直方图均衡化基本思想灰度级变换均衡化计算实验1基本概念图像增强：使图像更适合于特定应用的图像处理技术不存在对任何图像都通用的增强理论图像增强分类空间域图像增强空间域：图像平面本身表示为：g(x,y)=T[f(x,y)]g(x,y)=T[f(x,y)]g(x,y)=T[f(x,y)]T一般表示f在像素(x,