- 博客(269)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 OpenMMLab-AI实战营第二期-MMPose代码介绍
原始视频链接：安装MMDetection和MMPose：https://www.bilibili.com/video/BV1Pa4y1g7N7MMDetection三角板目标检测：https://www.bilibili.com/video/BV1Lm4y1879KMMPose、RTMPose三角板关键点检测：https://www.bilibili.com/video/BV12a4y1u7sd个人感觉这是一个非常成功的视频教学，完整的介绍了如何从原始数据训练一个可以简单定制的模型出来。
2023-06-03 23:26:47
613
1
原创 OpenMMLab-AI实战营第二期-人体关键点检测与MMPose
这个课程的大致内容是介绍如何从给定的二维影像中恢复出人体的姿态（2D或者3D），大纲如下所示，基本上可以认为流程是：先是恢复2D的关节点姿态，然后是3D的关节点姿态，最后直接演变成三维模型的姿态（更加精细）。我的感觉是一个好的骨架给定后，由于人四肢躯干的长度都是固定的，2D-3D之前显然存在一个几何变换（当然我也是猜的），所以网络学习起来比较容易。2D姿态估计就是利用图片恢复人体关键点姿态，其方法思路可以分为基于回归（直接回归关键点的坐标）和基于热力图（预测关键点的位置分布图）两大类。
2023-06-02 23:39:24
485
原创 OpenMMLab-AI实战营第二期-开营仪式
openMMlab是基于pytorch的工具包，不是一个新的框架。参与课程可以动手做一些实验，完成课程后还有一些福利。
2023-06-02 19:22:05
300
原创 Jittor：Jittor1.3.1之离线安装
背景Jittor是一个非常牛逼的框架，维护了大量的官方demo，非常容易上手。与其他方法相比，采用了即时编译的流程，因此在效率上往往更高。但是在使用Jittor的过程中，也遇到了一些比较头疼的事情，即如何在断网的服务器上安装jittor。通常在正常联网的电脑上，pip安装jittor以后，jittor还会调用compile_extern.py下载一些压缩包，导致断网电脑无法安装。在后文中，将简要介绍jittor如何在离线服务器上安装。方法去官网下载最新的jittor源代码，较老的版本可能存在一
2022-04-22 11:38:09
2381
原创 VSCode：remote-ssh多级跳转
背景vscode目前是非常流行的编程工具，提供了大量的插件，尤其是其中的remote–ssh，能够提供远程ssh连接服务器，居家办公两不误。然而比较麻烦的事情是，通常服务器为了保证安全都会设置多级jumpserver，较少情况下才会提供直连。因此本篇博客的主要目的就是在remote-ssh里达到多级跳转。参考https://code.visualstudio.com/blogs/2019/10/03/remote-ssh-tips-and-tricks#_proxycommand方法安装好r
2022-04-22 11:01:12
3841
转载 ubuntu：命令行查询文件(夹)大小
背景使用命令行查询文件文件(夹)大小参考https://www.cnblogs.com/zhengyiqun1992/p/11183819.html使用方法查看当前文件夹下文件大小ll -h输出如下，其中文件夹大小是错误的，但是文件大小是正确的。查看文件夹的大小du -h --max-depth=1输出如下，不会显示文件大小，仅显示文件夹大小...
2022-04-21 11:01:44
3480
原创 obsidian使用技巧
背景obsidian是一个非常牛逼的本地笔记工具，极大的提高了本人的学习能力，卷的更加厉害了。此处简要记录一下在使用过程中遇到问题和对应的解决方案，至于具体的使用方法网上多的是就不介绍了。三方插件推荐1. Advanced Tables（提高表格编写）2. Calendar（生成日历侧栏）3. Dataview（必备）4. Day Planner（日程管理，显示日程安排）5. HIghlightr（高亮markdown文笔）6. Remember Cursor Position（记录光标位置
2022-04-14 20:45:05
3583
原创 Pytorch：conda安装不同版本的cuda
我不会是最后一个知道可以用conda安装不同版本的cuda的人吧。。。通常的pytorch安装流程是：首先安装NVIDIA驱动，然后安装对应版本的cuda和cudnn最后再安装cuda支持的pytorch版本然而实际上今天发现，完成步骤1以后，直接安装cudatookkit就可以完成步骤2，并且对应的cuda就安装在对应的conda环境下。...
2022-04-07 13:47:35
2127
原创 Ubuntu：替换不安全的rm命令
背景rm是一个非常常用但是却异常危险的命令，因为其删除的文件并不会保存在回收站中，而是直接删除。如果不慎错误删除了文件，基本上就万劫不复了。解决方案下载脚本https://raw.githubusercontent.com/lagerspetz/linux-stuff/master/scripts/saferm.sh将saferm.sh拷贝到当前${PATH_YOU_LIKE}目录下，并为脚本设置权限chmod a+x ${PATH_YOU_LIKE}/saferm.sh将${PATH
2022-01-18 13:06:30
3123
原创 Git：使用笔记
#git局部配置git config user.name "username"git config user.email "email"#git带用户密码clonegit clone https://username:[email protected]/usernamex/privat-repo.git
2022-01-16 12:47:01
558
转载 Ubuntu：pip install gdal
方法sudo apt-get update# 必须首先安装gdal的lib，python只是针对该lib的调用sudo apt install gdal-bin libgdal-dev# pip安装的版本必须和gdal一致pip install --global-option=build_ext --global-option="-I/usr/include/gdal" GDAL==`gdal-config --version`参考https://coderedirect.com/quest
2022-01-12 11:01:01
485
原创 conda：离线环境安装
Aanconda的离线环境安装的必要条件是有一台可以联网的电脑。在后文中，分别称可以联网的电脑为On-line，不可以联网的电脑为Off-line。以下即为对应的操作步骤:1 On-line下载annconda安装包安装对应环境导出requirements.txt控制台运行 pip list --format=freeze拷贝输出结果到requirements.txt文件中，其格式大致如下:widgetsnbextension==3.5.1wincertstore==0.2yarg
2021-10-21 17:46:54
3436
1
原创 机器学习：补课目录
补课目录：（已经完成）吴恩达DeepLearning.ai：Deep Learning Specialization（正在进行）李航《统计学习方法》（计划进行）林轩田 机器学习基石 机器学习技法
2021-10-20 14:00:16
132
原创 Jittor：Jittor三千问
Jittor三千问记录一下在使用Jittor时遇到的问题和对应的解决方案，持续更新。非常感谢梁盾博士的回复。1. Jittor如何指定显卡？在运行脚本时，使用 CUDA_VISIBLE_DEVICES=gpu_id2. Jittor的safe_clip是什么？与python中的clip等价，相同的函数还有clamp。3. Jittor中conv2d不能设置padding_modeconv2d默认使用padding_mode='zero'，其他方法需要首先调用jt.nn.pad选择对应的
2021-10-12 12:32:16
705
翻译 Ubuntu：显存占用及处理
问题在进行深度学习时，显存是一种非常宝贵的资源。但是即便在Ubuntu下，各种各样的系统配置都会不自觉的占用一些显存，导致深度学习难以为继。在本博客中，主要搬运一些查询显存占用原因及处理方法。翻译来源链接https://unix.stackexchange.com/questions/591393/how-to-shift-process-from-gpu-to-cpu-usagehttps://askubuntu.com/questions/1220144/can-somebody-explai
2021-04-02 14:43:16
2770
原创 Blender2.8：Blender Python渲染降噪节点（Cycles）
参考https://www.bilibili.com/read/cv9221189/背景Blender的Cycles渲染引擎存在非常多的噪声。方法一个比较好的思路是利用“Denoising Data”和降噪节点。参考文档里的是手动设置，非常的不优雅。此处贴一下用python代码设置的方法。 bpy.context.scene.use_nodes = True tree = bpy.context.scene.node_tree links = tree.links
2021-03-04 11:03:38
2287
1
原创 GTAV：原始影像和深度图获取
背景GTAV是一个非常好的游戏，目前也已经被广泛应用到深度学习之中了。本篇博客简单介绍一下如何采集数据。1.数据采集1. 代码修改本篇博客的代码来源于GTAVisionExport。但是上述代码中，存在些许问题，经过调整后的代码如下：https://github.com/Yannnnnnnnnnnn/GTAVisionExport。主要修改的模块是：使用二进制保存数据调整深度渲染器分辨率，保持与游戏界面大小一致此处，简单提一下GTAVisionExport的使用规则：需要拷贝Sc
2021-01-20 17:36:18
1937
9
原创 三维视觉论文实战：DenseDepth2019--网络结构及demo
目的本篇博客的主要目的是记录测试DenseDepth的demo的过程，包括“pytorch模型构建”和“keras模型参数转pytorch”两大部分，当然最后还有一个实验模块。注明以下，本篇博客为啥要构建pytorch模型。原因很简单：一、我不会keras；二、希望通过构建新的模型来加深本人对DenseDepth的理解。代码本篇博客在撰写时，主要使用了两个代码，分别是原始代码，以及最终修改好的结果。https://github.com/ialhashim/DenseDepth（keras模型）
2021-01-19 17:27:10
1036
原创 三维视觉论文阅读：RMVSNet2019多视立体匹配
论文Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference摘要MVSNet最大的问题是3D UNet，太耗费内存了。RMVSNet另辟蹊径，使用了GRU来进行代价聚合，取得了不错的效果。方法RMVSNet的网络结构如下图所示，其与MVSNet的结果主要不同的地方在于cost volumn的代价聚合部分。1. 代价聚合代价聚合一直是双目立体匹配和多视立体匹配中的老大难，并不是效果不好，而是太耗费内存。在本篇文
2021-01-16 14:39:36
873
原创 三维视觉论文阅读：MVSNet2018多视立体匹配
论文MVSNet: Depth Inference for Unstructured Multi-view Stereo摘要MVSNet是深度学习多视立体匹配的开山之作（我个人认为），虽然其在网络结构上与双目立体匹配并没有太大的改进，但是其解决了如何进行多视下怎么可微的进行cost volumn构建。方法下图展示了MVSNet的主要结构，如果排除掉cost volumn的构建方法，可以说其与GCNet/PSMNet可以说没啥太大的区别；总体来说，MVSNet也可以分为四个部分，哈斯特征提取、cos
2021-01-16 14:10:49
865
原创 三维视觉论文阅读：high-res-stereo2019双目立体视觉
论文Hierarchical Deep Stereo Matching on High-resolution Images摘要本篇文章本人在看的时候，感觉特别像StereoNet和StereoDRNet。high-res-stereo强调了其在处理高分辨率影像的能力，并且也得到了非常漂亮的效果；另外，就是这篇文章也公开了代码，目前从issue的情况来看，论文的结果是可复现的！方法以下展示了high-res-stereo的网络结构，其实还是特征提取和代价回归两部分。1. 特征提取high-re
2021-01-16 12:50:02
922
1
原创 三维视觉论文阅读：RAFT2020双目光流
论文RAFT: Recurrent All-Pairs Field Transforms for Optical Flow摘要2020年下半年以来，深度学习都逐渐走向了迭代优化（例如NeRf），还都取得了不错的效果。在RAFT中，作者将迭代优化应用到了光流之中，取得了非常不错的效果，截至到目前RAFT仍旧是多个benchmark的第一名。所以，本篇文章还是非常有必要读一读的。方法虽然RAFT的网络结构与大部分光流的结构在总体上仍旧是相似的，即有特征提取模块，然后有cost volumn构建，最后再
2021-01-15 16:52:58
1540
原创 三维视觉论文阅读：DeepPruner2019双目立体匹配
论文DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch摘要DeepPruner这篇文章，本人在2019年上半旬就大致读过一次，但是那时候
2021-01-14 15:56:04
941
2
原创 三维视觉论文阅读：AcfNet2019双目立体匹配
论文Adaptive Unimodal Cost Volume Filtering for Deep Stereo Matching摘要PSMNet对后续立体匹配的研究影响非常大，但是大部分人都把重心放在了网络设计上了；而本篇文章则把研究重点放在了loss的设计上，并且最终结果还不错，本人还是挺感兴趣的。方法在网络结构上，AcfNet与PSMNet区别并不是特别大，大致结构如下图所示，利用左右目影像构建cost volumn；不同之处在与，如何处理cost volumn。1. soft arg
2021-01-11 23:40:12
461
原创 CUDA：纹理金字塔
背景纹理内存是CUDA里非常好用的一个工具，能够极大的提高图片处理的速度。但是通常的纹理内存，只能处理当前尺度的数据，如果想要处理多尺度的信息，就会特别复杂。在本篇博客中，将主要针对纹理金字塔（Mipmap)进行实验，了解一下其用法。这里引用Unity中关于 Mipmap的示意图说明一下Mipmap是啥，其实就是一系列金字塔。另外，在阅读本篇博客时，应该对纹理参考和纹理对象有一定的了解，建议参考博主之前的文章。核心APIcudaMallocMipmappedArray ( cudaMipma
2021-01-11 10:48:55
720
原创 三维视觉论文阅读：StereoDRNet2019双目立体匹配
论文StereoDRNet: Dilated Residual Stereo Net摘要个人感觉StereoDRNet是StereoNet的后续，做了很多的改进，实验效果也非常好。网络模型StereoDRNet的输入是左右视图，输出是左图视差、右图视差和遮挡区域三部分类容。StereoDRNet也包含特征提取、代价聚合和视差优化三个模块，后续将逐步展开介绍。1. 特征提取PSMNet中的SPP模块给大家带来了非常大的影响，所以在本篇文章中作者更加激进了。。。StereoDRNet的特征提取
2021-01-08 00:22:56
1014
2
原创 三维视觉论文阅读：StereoNet2018双目立体匹配
论文StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction摘要双目立体匹配的计算效率一直是一个老大难，StereoNet在2018年提出了一个新的思路，即只用低分辨率预测视差图，然后不断用图片做导向滤波得到最终的高质量结果。除此之外，本篇文章还分享了一些炼丹心得，也很有意思。网络StereoNet的网络结构还是非常简单的，大致上分成三部分，第一部分提取特征，第二部分视差计算，第三部分优
2021-01-04 00:45:19
1965
原创 三维视觉论文阅读：PWCNet2018双目光流
论文PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost VolumeModels Matter, So Does Training: An Empirical Study of CNNs for Optical Flow Estimation摘要PWCNet是Nvidia提出的光流估计方法，在网络模型和训练方法上都进行比较深入的讨论。这个组还复现了FlowNet2，比原作者的FlowNet2影响还大，可见这篇论文的作者对光流
2021-01-02 23:50:28
5436
2
原创 三维视觉论文阅读：AANet2020双目立体匹配
论文AANet: Adaptive Aggregation Network for Efficient Stereo Matching摘要在双目立体匹配中，最麻烦的问题在于如何进行“代价聚合”。三维卷积肯定是不行的，计算量太大；GANet那一套也不太行，计算起来效率太低。本篇文章则通过对多尺度代价进行融合，发现不仅能提高速度（PSMNet、GANet），还有更加不错的效果。说到这里，我又不得不感叹一下GANet，论文作者的想法是好的，希望通过传统SGM的多路径聚合替代深度学习的三维卷积；但是他却忽视
2020-12-30 21:42:18
1672
6
转载 SLAM学习：DSO学习资料推荐
资料最近学习DSO，发现小C酱油兵写的非常不错，留一下记录。期待博主的进一步更新！DSO全家桶（一）——DSO流程概述DSO全家桶（二）——DSO前端：提取梯度点DSO全家桶（三）——DSO前端：初始化DSO全家桶（四）——DSO前端：前端跟踪...
2020-12-29 15:11:23
209
原创 三维视觉论文阅读：GANet2019双目立体匹配
论文GA-Net: Guided Aggregation Net for End-to-end Stereo Matching摘要自从大家开始将SGM的思想引入双目立体匹配网络后，越多越多的学者开始开脑洞。在GANet这篇论文中，作者的主要的贡献就是将SGM的“代价聚合”模块引入到端到端网络之中。模型在文章中，作者给出了一个网络结构的示意图。然而由于作者并没有添加任何图例，本人完全看不懂这个图中的具体细节。为了大致搞清楚本文的网络结构，本文阅读代码，大致画了以下两个图（其中绿色模块是各种卷积，黑
2020-12-25 16:56:01
1316
原创 三维视觉论文阅读：PSMNet2018双目立体匹配
论文Pyramid Stereo Matching Network摘要学习双目立体匹配，传统方法里不能不知道SGM，深度学习方法里则不能不知道PSMNet。这篇文章在GCNet的基础上，对网络进行了全面的改进，使得双目立体匹配迈上了一个新的台阶。网络模型熟悉GCNet后去理解PSMNet的网络模型，还是比较容易的。PSMNet整体还是可以分成4个模块，作者对其中的“特征提取”和“代价聚合”两个模块进行大幅度的改进。“代价计算”和“可微视差生成”则保持原样。另外，文章中给出了详细的网络参数，如下
2020-12-17 14:51:30
1256
原创 三维视觉论文阅读：GC-Net2017双目立体匹配
论文End-to-End Learning of Geometry and Context for Deep Stereo Regression摘要传统问题转化成”end2end"的“可微问题”是很多三维视觉论文讨论的核心，在这篇文章中就展示了如何将SGM可微化。另外，这篇文章的作者估计也很讨厌黑盒子式的端到端，所以整篇文章都在强调网络结构设计的合理性与原理。网络结构上图展示了GC-Net的整个网络结构，不难发现，其虽然是一个端到端的网络；但是仍旧被显著的分成了四个模块，分别是“特征提取”、“
2020-12-17 11:48:51
1948
3
原创 Blender：创建基本几何体及自动贴图
废话少说，直接上代码。参考链接https://blender.stackexchange.com/questions/21589/how-can-i-add-a-cubehttps://blender.stackexchange.com/questions/157531/blender-2-8-python-add-texture-imagehttps://blender.stackexchange.com/questions/57446/create-named-objecthttps://bl
2020-12-16 17:09:14
1441
原创 三维视觉论文阅读：mc-cnn2016双目立体匹配
论文Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches摘要本篇文章只关注“像素块相似度”这一块，仅仅是双目立体匹配中的一个小模块；导致文中还有大量传统方法的内容，不过这些东西不是现在应该讨论的重点，所以直接跳过了。方法早期的深度学习方法都还不是end2end，所以行文有点啰嗦。本篇文章大致分为数据集以及两个对应的网络。1 数据集考虑到本文只关心像素块的相似度，因此作者用了一个很简
2020-12-15 20:10:55
1560
2
原创 三维视觉论文阅读：FlowNet3.0(boundary+occlusions)2018双目光流
论文Occlusions, Motion and Depth Boundaries with a Generic Network for Disparity, Optical Flow or Scene Flow Estimation摘要在光流中，遮挡是一个非常普遍的现象，运动物体或者自我遮挡都会导致前后光流不一致。在本篇论文中，作者秉承着炼丹学的精神，深入且全面的讨论了炼丹的一些细节。由于Scene Flow不是博主的研究方向，不做讨论。方法1 模型假设秉持FlowNet系列以来的一贯风格，
2020-12-14 15:42:25
838
1
原创 三维视觉论文阅读：FlowNet2.0 2017双目光流
论文FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks摘要FlowNet1.0取得了不错的效果，但是在实际应用时效果还并不是特别好。针对这些问题，FlowNet2.0做了一些改进，显著的提升了光流质量。方法整体而言，FlowNet2.0这篇论文更像是一篇炼丹学，非常详细的介绍了在做光流匹配的时候需要注意的一些问题，以及作者经过大量实验总结出来的一些技巧。因此，也就不存在所谓的网络模型这些概念。1. 训练技巧–l
2020-12-13 13:56:08
508
原创 三维视觉论文阅读：FlowNet2015双目光流
论文FlowNet: Learning Optical Flow with Convolutional Networks摘要CNN网络是个神奇的东西，这篇文章就直接用这玩意用于做光流匹配，法向效果还不错的。但是看到这里，不仅开始感叹做单目深度估计的人都在干嘛，Dosovitskiy这帮人2015年都在玩encoder-decoder和skip-connection，但是单目深度这边一直到了2017年左右才勉强正常。不知道这中间到底还有什么故事。除此之外，这篇文章还有一些数据集网络由于是第一个将
2020-12-12 12:32:44
322
1
原创 三维视觉论文阅读：DenseDepth2019单目深度估计
论文High Quality Monocular Depth Estimation via Transfer Learning摘要本篇文章是一篇比较经典用Encoder-Decoder结构的网络，取得的效果也时很不错的。网络结构DenseDepth的encoder是DenseNet-169，decoder的上采用也没有用什么花里胡哨的方法，直接双线性插值。损失函数个人认为，本篇文章的损失函数是非常不错的。除常用的外，还添加了SSIM，直接让GT深度图和预测深度图相同（个人感觉这个受到了SfM
2020-12-10 16:01:05
1228
原创 三维视觉论文阅读：MegaDepth2018单目深度估计
论文MegaDepth: Learning Single-View Depth Prediction from Internet Photos摘要单目深度估计的难题就是数据集，本篇文章设计了一套基于互联网影像生成训练数据集（ColMap）的方法，可以满足各种需求。数据生成MegeDepth充分利用了传统方法的成果，首先利用Colmap计算影像的位姿，然后利用MVS方法获取深度图，大概可以获取以下的结果。但是显然上述生成的深度图还是有诸多问题，例如照片中的前景深度残缺（通常是人或者一些移动物体）
2020-12-10 15:49:15
1311
CUDA by Example: An Introduction to General-Purpose GPU Programming
2015-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人