- 博客(12)
- 收藏
- 关注
RSS订阅原创 swin Transfomer
对比ViT,如下图所示，ViT是固定把图像分为固定的patch，并在全局做自注意力，会带来两个坏处：1、随着输入图像分辨率的提高，其计算量为平方级的增长。2、对于分割、检测这类任务，没有提取到图像多尺度的信息。因此Swin Transformer解决了上述的问题，他将图像打成patch，patch大小不依，如上图，将16个patch又放进window中，每个window中做自注意力，1、可以提取多尺度的信息，方便后续的分割检测任务。2、这样做的计算量是随着图像分辨率成线性增长的。
2024-03-11 22:07:41
308
原创 SAM模型
Task:向模型输入图片以及分割提示，可以是点、框、文本，模型生成相应的分割掩膜。图像编码器计算图像嵌入；提示编码器嵌入提示；mask decoder整合两者信息，输入最终的mask。SAM模型的官方demo，可以更快理解交互式分割提高模型的在新数据分布上面泛化能力，需要一个庞大的数据集训练模型。我们的数据引擎有三个阶段：辅助手动，半自动和全自动。在第一阶段，SAM协助注释者注释Mask，类似于经典的交互式分割设置。
2024-03-05 19:18:23
1749
原创 EfficientSAM论文解读
尽管SAM已经取得非常优越的分割性能，但是Vit-H image encoder has 632M 参数；decoder 仅仅有 3.87M,编码器的参数太大了，EfficientSAM模型的提出，最重要的事情是轻量化模型，主要是轻量化编码器。使用良好预训练的轻量级ViT图像编码器（例如，ViT-Tiny/-Small），以降低SAM的复杂性，同时保持良好的性能。如下图，EfficientSAM模型只有5M大小。
2024-03-03 20:36:23
1208
原创 RK3588编译yolov5.rknn 案例
4、进入install 的目录下，chmod给文件权限(sudo chmod +x rknn_yolov5_*)3、.sh编译成功之后，将demo目录下的install文件夹adb push 到RK3588开发板上。将GCC_COMPILER进行修改。将aarch64-none-linux-gnu 的路径加入。2、编译./build-linux_RK3588.sh。1、在虚拟机上编译yolov5的.sh文件。
2023-11-27 11:04:59
148
2
原创 RKNN-ToolkitLite2 环境搭建 RK3588
有个 rknn_toolkit_lite2-1.5.0-cp39-cp39-linux_aarch64.whl 的包，然后使用以下命令安装 RKNN-ToolkitLite 2 软件包，完成安装后会提示successfully.去官网下载miniconda，miniconda 的官方链接如下所示：https://docs.conda.io/en/latest/miniconda.html。然后使用以下命令激活刚刚创建的 rknn 虚拟环境，发现用户名前出现（rknn）,证明成功激活了 rknn 虚拟环境。
2023-11-22 22:07:26
1726
1
原创 RK3399 linux系统板上编译opencv边缘检测的 动态链接库 so
在当前目录下创建lib文件夹，并将.so动态链接库放入lib文件夹下。这个代码定义了一个函数 detectEdges，该函数接受输入图像路径和输出图像路径，然后对输入图像进行边缘检测，将结果保存到输出路径。7、在终端执行 cmake make ./edge_detection_app 边缘检测的结果会保存到当前目录下。3、编写CMakeLists.txt文件，该txt是用来生成.so ---- 动态链接库。#添加包含路径，将 lib 目录添加到头文件搜索路径。# 添加生成的动态链接库。
2023-11-22 09:29:11
264
1
原创 ubuntu系统下安装rknn_toolkit，Failed building wheel for bfloat16
对rknn_toolkit进行安装，就可以了。然后，在对bfloat16重新进行安装。
2023-11-18 11:08:57
249
1
原创 通过Samba使得Rkdevtool访问ubuntu系统的映像文件烧录系统板
通过samba使得在Windows和Ubuntu共享文件夹，方便文件互相调用。
2023-11-08 10:06:58
61
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人