- 博客(44)
- 收藏
- 关注
RSS订阅原创 Spk2ImgNet: Learning to Reconstruct Dynamic Scene from Continuous Spike Stream论文笔记
1）提出了名为Spk2Imgnet的端到端的卷积神经网络，来从脉冲数据流中重建动态场景。这是第一个使用端到端神经网络来解决脉冲相机图像重建的方法。2）提出了一种层级结构来渐进地探索时间关联性，使得神经网络可以同时处理来自噪声和高速移动的挑战。3）研究了脉冲生成机制。基于分析，提出了一个脉冲模拟器，用来生成模拟脉冲流以及相关的真值图像，并且构建了一个脉冲数据集来训练脉冲相机图像重建网络。4）真实数据集以及合成数据集上的结果显示所提出的网络很对动态场景取得了目前最佳的重建效果。
2023-09-07 14:06:05
564
1
原创 Reconstructing Clear Image for High-Speed Motion Scene With a Retina-Inspired Spike Camera 论文笔记
脉冲相机的机制如图2所示。该传感器由一组像素阵列构成，每一个像素都可以单独地记录光强。每一个像素都包含了三个主要部分：光感受器、积分器和比较器。光感受器捕捉环境中的光子，然后将瞬时光强ItI(t)It转化为可以被积分器识别的电压。At∫0tηIxdx(1)At∫0tηIxdx1其中，η\etaη表示光电转化率。一旦积累的信号达到阈值θ\thetaθ，像素建立flag信号并发出脉冲。同时立刻重置积分器，开始新一轮的“积累和发放”过程。At。
2023-09-06 16:32:39
298
原创 Super Resolve Dynamic Scene from Continuous Spike Streams论文笔记
随着实时计算机视觉应用的发展，传统数码相机的缺点逐渐暴露。传统相机通常在一个曝光窗口内积累光电信息来形成快照帧。这样的的成像原理可以为静态场景产出富含细节的清晰图片。然而，对于拥有高速移动的动态场景，移动物体上的某一点会被投影到传感器的不同像素点上，导致运动模糊。为了解决这一问题，脉冲相机被提出。脉冲相机可以持续地监控到达的光子并且激发连续的脉冲流，从而记录高分辨率的动态场景。相比于事件相机，脉冲相机可以记录绝对的光照强度而不是相对光强变化。在本文中，我们针对脉冲相机设计了一种全新的图像重建框架。
2023-09-02 14:04:58
1912
原创 Learning to Super-resolve Dynamic Scenes for Neuromorphic Spike Camera论文笔记
新兴的实时计算机视觉应用，比如自动驾驶，无人机技术等都需要机器能够清楚地记录高速运动并且迅速响应。这暴露了传统相机的不足。传统的相机主要是基于一次性曝光成像，对静态场景或者低速运动可以进行很好的成像。但是对于高度运动，运动物体上的某一点可能会被投影到传感器的不同像素上，导致运动模糊。为了清晰地捕捉高动态场景，脉冲相机被发明。不同于传统相机将所有一个曝光周期内的所有视觉信息压缩成一张快照，脉冲相机没有采用曝光窗口的概念。
2023-08-19 14:58:06
1256
1
原创 使用QIS(Quantum Image Sensor)图像重建总结（2）
彩色图像通常通过在图像传感器前面放一个彩色滤波器阵列（color filter array, CFA）获得，比如贝叶斯模式CFA，它的每个像素只有一个颜色通道。所捕获的图像将是一个不同颜色的马赛克，如图4.1所示。将这个单通道的马赛克图像转换成三通道的RGB图像称为去马赛克。去马赛克是一项困难的任务，因为我们本质上在做超像素处理，即将每像素一颜色通道转化为每像素三颜色通道。我们需要处理颜色通道的对齐，这需要细致的处理。光子有效的场景下，将进一步增加其难度，因为需要同时处理去马赛克和严重的噪声。
2023-03-08 11:01:18
883
2
原创 使用QIS(Quantum Image Sensor)图像重建总结（1）
最近看了不少使用QIS重建图像的文章，觉得比较完整详细的还是Abhiram Gnanasambandam的博士论文：https://hammer.purdue.edu/articles/thesis/Computer_vision_at_low_light/20057081讲述了又墨子的小孔成像原理，到交卷相机，再到数字相机的发展过程。指出本文的主要目的是为了针对光子随机到达相机产生的散粒噪声（即使是完美的传感器也没有办法避免），提出相应的解决思路。
2023-03-07 15:32:09
1456
原创 GLM(General Language Model)代码分析
GLM: General Language Model Pretraining with Autoregressive Blank Infilling代码分析
2022-07-15 15:14:20
2551
原创 Multifaceted Spatial and Functional Zonation of Cardiac Cells in Adult Human Heart论文笔记
心脏是一个结构良好的器官，对跨越人类心脏结构的细胞特征的研究还处于早期阶段。我们的研究小组和其他研究人员之前已经揭示了在疾病和发育情况下的心脏细胞重塑。此外，有2项研究报道了6个心脏区域的细胞转录，以前所未有的深度进行了概述。心房和心室心肌细胞之间的明显异质性与预期一致，而心房或心室内的空间异质性没有得到很好的阐述。鉴于心肌疾病优先影响特定区域的心脏，如不压实引起的脑小梁发育不良和心房颤动来自左心房，我们的目标是解剖心脏细胞的异质性在更详细的和多面的空间维度，包括以前未报道的心室壁的跨壁轴。...
2022-07-07 20:11:26
381
原创 GPT Understands, Too论文笔记
GPT使用传统的fine-tuning无法在自然语言理解（Natural Language Understanding, NLU）任务上取得良好的效果。本文提出了一种新方法P-tuning（采用了可学习的连续prompt embedding），可以使得GPT的性能优于同等规模的BERT。同时，我们发现P-tuning也提升了BERT在小样本以及监督学习环境下的性能并且极大程度上降低了对prompt工程的需要。 根据训练的目标，预训练语言模型主要可以被分为三类：针对语言生成任务的单向语言模型，如GPT；
2022-06-17 11:30:12
532
1
原创 P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks论文笔记
将prompt tuning引入到NLU(Natural Language Understanding)中，提出了P-Tuning v2
2022-06-02 16:26:27
570
原创 All NLP Tasks Are Generation Tasks: A General Pretraining Framework论文笔记
论文链接：All NLP Tasks Are Generation Tasks: A General Pretraining Framework代码链接：https://github.com/THUDM/GLM论文的主要贡献1）该方法（GLM）可以在分类、无条件生成和条件生成三种任务上，仅通过预训练，就可以获得很好的效果。2）通过使用预训练——微调一致性的方法，在分类任务上可以获得比BERT类模型更好的效果。3）该方法可以很自然地处理可变长度的填空任务，非常有利于对下游任务的迁移。下表展示了现有
2022-05-27 20:37:29
155
原创 SMARRT论文笔记
论文链接：SMARRT: Self-Repairing Motion-Reactive Anytime RRT for Dynamic Environments论文主要贡献SMARRT只在小范围内进行碰撞检测，如果现有的路径不满足条件（如会碰撞），会在最大程度保存已探索路径的同时，对现有路径进行剪枝，并且进行重新规划。问题描述定义机器人的操作空间为X\mathcal{X}X，定义Xobs∈X\mathcal{X}_{obs}\in \mathcal{X}Xobs∈X为障碍空间，Xfree=X/Xo
2022-05-24 15:39:25
415
原创 VAT-MART
论文链接：https://arxiv.org/pdf/2106.14440.pdf主要目的使机器人更好地感知和操控3D铰接物体，如柜子、门等主要思路如下图所示，给定一个输入物体后，框选出互动的具体范围，再依次选择最合适的交互点和操作轨迹。具体流程给定物体OOO和它的铰链部分P={P1,P2,⋯ }\mathscr{P}=\{P_1,P_2,\cdots\}P={P1,P2,⋯}，交互类型为TTT，操作任务为θ\thetaθ，我们训练了一个感知系统，会对P\mathscr{P}P上的每一个点
2022-03-29 17:01:46
270
原创 GraspARL
论文链接：https://arxiv.org/pdf/2203.02119.pdf主要目的和思想使用机械臂完成对动态物体（将物体放在移动盘上）的抓取，采用强化学习的理念，设计机械臂和移动盘的对抗。现有的问题机械臂只能抓取运动轨迹简单的动态物体对未知场景的泛化能力不足主要方法整个对抗游戏可以用一个元组进行表示<S,A1,A2,O1,O2,R1,R2,P,γ1,γ2><\mathcal{S},\mathcal{A}_1,\mathcal{A}_2,\mathcal{O}_1,\m
2022-03-29 10:07:09
1442
原创 AdaAffoord论文笔记
应用背景：通过增加少量的机器臂和物体的快速交换，使得家庭辅助机器人知道如何正确打开关闭抽屉、柜子、开关等。现有问题：现有的方法没有发掘隐藏的运动学细节，如下图所示，当没有明确的门把手信息时，现有的方法会将可能的开启位置均匀化（图中（b）列的第一行所示，柜子的边缘的一周都标上差不多颜色，表示都有可能是开启的位置），但这个样子无法满足家庭辅助机器人的要求。主要方法和创新点：通过在测试时加入少量机械臂和物体的交互，使得机器人可以准确地感知正确的抓取位置和施力方向。记物体为O∈RN×3O\in \ma
2022-03-27 20:32:00
3776
原创 yolov5 c++ 识别工件
记录一下训练yolov5识别工件，并用c++调用模型的过程训练过程准备数据，使用网站https://app.roboflow.com/cv-rbynj进行数据标注。创建一个新的工程，新建好的工程如下图所示然后上传文件,点击上传好的图片，开始标注，框选出物体，并在左上角的框里写入物体的类别，这里为了识别工件，输入workpiece。当数据都标注好了，点击左上角的白色返回按钮然后点击右上角finish uploading然后可以按照自己的需求进行设置，yolov5一般默认图片尺寸为640*
2022-01-05 15:29:08
3737
原创 Reinforced-Feature-Points代码解读
本文是对Reinforced Feature Points:Optimizing Feature Detection and Description for a High-Level Task论文开源代码的解读和自己的思考。论文链接：https://arxiv.org/pdf/1912.00623.pdf代码链接：https://github.com/aritra0593/Reinforced-Feature-Points接下来以Training里的main.py，即训练代码为例进行解读def ge
2021-12-04 10:04:47
2793
1
原创 论文笔记 Reinforced Feature Points: Optimizing Feature Detection and Description for a High-Level Task
介绍\quad文章的主要思路是使用SuperPint的预训练模型，使用旋转矩阵RRR和平移矩阵ttt对SuperPoint进行reinforcement learning， 使其能够估计相机的相对位姿变化。作者指出对神经网络的训练，SuperPoint在匹配任务上取得了比SIFT更好的效果，但其在根据匹配求解本质矩阵上，效果却不如SIFT，同为深度学习网络的LIFT也存在相同的问题，LIFT特征在三维重建任务中的效果不如SIFT，基于深度学习方法的特征点在底层任务（如匹配）中取得很好效果的同时，在高层任
2021-12-01 22:10:39
3802
3
原创 激光雷达和RTK的标定（无人小车）
总结一下最近的标定工作，标定平台是实验室的无人小车，目标是实现激光雷达(lidar)和RTK的标定，也就是求解lidar到RTK的位姿变换矩阵。采用的代码是ETH的lidar align(https://github.com/ethz-asl/lidar_align)。需要对其读取RTK位姿信息的的代码做一定的修改。所采用的ros消息类型为geometry_msgs/PoseStamped bool Loader::loadTformFromROSBag(const std::string&
2021-11-15 10:36:20
4578
6
原创 激光雷达和相机的联合标定
最近在做相机和激光雷达的联合标定，花费了大把力气。操作系统使用的设备：Ubuntu18.04Velodyne VLP16激光雷达Kinect DK相机准备工作相机的sdk安装和ros相关文件的安装：https://blog.csdn.net/qq_27399933/article/details/107356117可能会出现找不到libk4a1.4-dev的问题，运行下面的指令：curl https://packages.microsoft.com/keys/microsoft.asc |
2021-07-19 16:28:49
10058
12
原创 Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environment
论文链接：https://arxiv.org/pdf/2103.01627.pdf代码链接：https://github.com/hku-mars/livox_camera_calib主要内容本文提出了一种不依赖于棋盘格等辅助标定物体，实现像素级相机和激光雷达自动标定的方法。方法直接从点云中提取3D边特征，一避免遮挡问题，并且使用了精确度更高的深度连续边。文中首先指出：以下四种变换方式区分性能不好，提供的约束效果不好：进一步指出将点云投影到图像平面再提取特征的问题主要在于相机和激光雷达事业遮
2021-07-11 21:26:33
1038
原创 基于深度学习的特征提取方法
1、Repeatability Is Not Enough:Learning Affine Regions via Discriminability论文链接：https://arxiv.org/pdf/1711.06704.pdf代码链接：https://github.com/ducha-aiki/affnet主要贡献是提出了affine shape estimator，并依据次设计了AffNet，用来提取patch，然后用使用Hardnet（主要思想就是力求匹配特征之间的距离尽可能的近，不匹配特征之
2021-04-17 23:20:12
7659
原创 论文笔记：ASLFeat: Learning Local Features of Accurate Shape and Localization
论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Luo_ASLFeat_Learning_Local_Features_of_Accurate_Shape_and_Localization_CVPR_2020_paper.pdf代码链接：https://github.com/lzx551402/ASLFeat主要内容这份工作的主要目的是解决关键点和描述子联合学习中的两个缺点。首先是特征的形状信息没有得到充足考虑，其次是所提取关键点
2021-04-08 23:00:20
1247
原创 论文笔记：R2D2: Repeatable and Reliable Detector and Descriptor
论文链接：https://arxiv.org/pdf/1906.06195.pdf代码链接：主要内容本文首先指出显著区域未必是易辨识区域，因此用判断极值的方法来判断keypoint（关键点）位置的方法未必准确，这样会影响到所提取描述子的性能。相比于之前只重视特征点的repeatble（可重复性，即特征在连续图像中多次出现）的方法，作者加入了reliable（可靠性）的因数，指出特征的提取需要在repeatble和reliable的均不错的区域进行。同时，沿用D2-net网络的detection-and
2021-03-29 22:26:39
2067
原创 论文笔记：D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
论文链接：https://arxiv.org/pdf/1905.03561.pdf代码链接：https://github.com/mihaidusmanu/d2-net主要内容相比传统的detect-then-describe的方法（先提取关键点，然后在关键点附近提取patch，然后用这些patch产生描述子），本文提出的D2-Net采用describe-and-detect的策略（同时提取描述子和关键点），测试显示D2-Net在困难的数据集（如较大的光照、角度变化等）上可以获得相同甚至更好的性能。
2021-03-25 22:27:11
2832
1
原创 论文笔记 DF-SLAM: A Deep-Learning Enhanced Visual SLAM System based on Deep Local Features
论文链接：https://arxiv.org/pdf/1901.07223.pdf主要内容作者首先指出当前的传统SLAM算法受制于数据整合任务，因此希望通过深度学习方法加以解决，但同时大部分基于深度学习的研究会受到数据库和特定环境的影响，甚至会存在牺牲效率换取准确性的问题，极大程度上降低了系统的实用性。本文中使用深度学习方法提取出来的局部特征描述子来取代传统的手工特征，提出了DF-SLAM，实验证明，相比其他的SLAM系统，其在效率和稳定性上有很好的提升，并且在光照变化等场景下拥有更强的鲁棒性。同时，
2021-03-23 21:57:31
464
1
原创 论文笔记 DXSLAM: A Robust and Efficient Visual SLAM System with Deep Features
论文链接：https://arxiv.org/pdf/2008.05416.pdf代码链接：https://github.com/ivipsourcecode/dxslam主要内容本文的主要工作为使用CNN（Convolutional Neural Network，卷积神经网络）提取特征，然后将所提取的特征整合到现代的SLAM(ORB SLAM2)框架中。其中，作者选择了性能优异的HF-Net，提取每帧图像的局部特征以及整幅图像的全局特征，使得所整合的SLAM系统，相比使用手工特征点的SLAM系统，在
2021-03-22 22:53:25
775
原创 Ubuntu下录制视频并在PPT上放映
下载kaza在Ubuntu终端输入：在PPT中插入视频1、如果录制选择的是webm格式的视频可以直接插入2、其他格式可能会出现问题，这里推荐一个叫做格式工厂的小软件，界面如下：添加所需要转换的文件，转为mkv格式即可。...
2021-03-11 15:27:19
786
原创 Online Invariance Selection for Local Feature Descriptors论文笔记
论文链接：https://arxiv.org/pdf/2007.08988.pdf代码：https://github.com/rpautrat/LISRD文章主要内容本文指出当前特征描述子的局限性在于通用性和区分性的取舍：如果一种描述子有很好的不变形，这也意味着它包含更较少的特征信息。论文通过分解局部描述子中的不变性并在给定上下文的情况下，在线选择最合适不变性的方式来克服此限制。文章主要贡献1、使用一个网络，通过多任务学习的方式学习出适应多种变化组合的描述子。2、提出一种轻量级的meta des
2021-01-13 15:28:29
593
4
原创 显著性目标检测和视觉重定位
显著性目标检测一、Highly Efficient Salient Object Detection with 100K Parameters本文旨在通过提高网络计算效率来缓解计算花费与模型性能之间的矛盾。本文提出了一种灵活的卷积模块，即广义的OctConv（generalized OctConv, gOctConv），以有效的利用级内和跨级的多尺度特征，同时通过一种新颖的动态权重衰减方案来减少特征的冗余。这种有效的动态权重衰减方案可稳定地提高训练期间参数的稀疏性，支持gOctConv中每个尺度的可学
2021-01-08 17:56:14
2603
原创 2-Entity RANSAC for robust visual localization in changing environment论文笔记
论文链接：https://arxiv.org/pdf/1903.03967.pdf文章主要内容本文指出当前的视觉定位方法由于地图或者图片序列在外观上的巨大变化，仍然会受到季节天气等环境因素的影响，进一步指明问题的原因在于外点数，即错误的特征匹配所占比例。在借助惯性测量的方法下，针对3D-2D的定位方式，文章提出了2-entity RANSAC(random sample consensus)方法，即使用两点匹配或者一点和一条线的匹配方式，在降低了所需特征点匹配数目的同时提高了系统对外点的鲁棒性。文章主
2020-12-31 23:19:35
299
原创 ORB SLAM2 Local Mapping代码部分解读
ORB SLAM2是在ORB SLAM基础上提出的一种性能十分优异的SLAM算法，主要通过Tracking（跟踪）、Local Mapping（本地制图）、Loop Closing（闭环检测）三个并行线程，流程如下图所示。本篇博客主要针对LocalMapping线程展开。注：Tracking部分的代码可以参照博主之前的博客：ORB SLAM2 Tracking部分论文及代码解读代码解读这里我们直接开始看代码，通过解析代码来更明确详细的阐述ORB SLAM2 Local Mapping部分的内容。以
2020-12-21 22:01:26
531
1
原创 遗传算法解决旅行商问题（CUDA版本）
前言通过代码解释遗传算法解决旅行商问题的思路(CUDA版本，使用GPU并行加速)。首先，定义常量参数const int nCities = 99; //城市数量const int GEN_OUT = 15; //最大代数const int GEN_IN = 1; //最大代数const int UNIT_NUM = 20000; //群体规模为20000const int BlockDIm = 5;//开五个Blockconst int ThreadDIm = 200;//每个Blockl里
2020-12-17 23:20:54
1497
2
原创 Dense Visual SLAM for RGB-D Cameras论文阅读
本文亮点本文中作者提出了一种基于RGB-D相机的稠密视觉slam方法，可以同时最小化全体像素点的光测和深度误差。和稀疏，基于特征点的slam方法相比，可以取得更加准确的位姿估计。进一步，作者在文章中还针对关键帧选取和闭环检测提出了基于熵的相似度测量方法，通过g2o框架优化后，取得了明显小于同类方法的轨迹误差，并且在弱纹理和弱结构的情况下，依然可以获得良好的效果。一、研究目标和贡献论文首先指出通过选取关键帧进行特征匹配的方法会丢失部分重要的图像信息，因此，论文通过构建稠密的slam方法，希望完成下述三
2020-12-12 19:34:43
473
1
原创 用UnSuperPoint提取的特征点代替ORB特征点，优化特征点匹配
1、UnSuperPoint的输出图像像素为320*240，需要根据自己的训练的图像尺寸，调整相应大小（主要体现在keypoints的位置上）。2、UnSuperPoint提取出来的描述子的数值，可以根据所使用函数，做适当的规约化，以提升匹配性能。3、确保UnSuperPoint提取出来的keypoints和描述子被正确读入。4、如果要使用opencv自带的drawMatches函数，则keypoints的矩阵必须定义为CV_8UC1型。5、如果用kitti数据集评估，可以用data_odometr
2020-12-04 22:07:34
1364
1
原创 SuperPoint_SLAM在Ubuntu18.04上的运行
代码链接代码主要思想是使用神经网络（SuperPoint）提取特征点，以替代ORB SLAM2中使用的ORB特征点。配置1、cmake的版本推荐11，查看cmake版本可以使用指令：$ cmake --version确认自己的cmake版本为11。安装cmake11可以参考博客：https://blog.csdn.net/qq_32526087/article/details/886161162、安装Pangolin、OpenCV、Eigen3、DBoW3 and g2o（不要用代码Th
2020-11-25 23:05:58
4518
23
原创 训练UnsuperPoint
由于原始训练代码无法正常训练，在github中找到了别人写的代码，经测试，可以正常训练。代码连接代码修改：（只需要修改图片输入路径即可）修改UnsuperPoint_coco.yaml中的train_path修改coco.py文件中self.is_training的base_path（训练图片路径，加上之前修改的train_path，组成完整的训练图片存放路径）。修改coco.py文件中else的base_path（评估图片路径，加上之前修改的train_path，组成完整的评估图片存放路径）
2020-11-20 22:21:55
924
7
原创 RGB-D SLAM in Dynamic Environments Using Static Point Weighting论文笔记
论文链接IEEE ROBOTICS AND AUTOMATION LETTERSOCTOBER 2017代码链接文章主要内容本文基于帧到关键帧配准的方法，并在仅使用depth edge points（特征点名，不知道如何确切翻译）的情况下，设计了一个性能优异的实时视觉里程计。文章主要目的是减少动态物体的影响，提出了静态质量的概念（用于衡量某点为静态环境一部分的可能性），并将其整合到IAICP（intensity assisted iterative closet point）方法中，极大程度上减小
2020-11-20 20:31:23
532
2
原创 ORB SLAM2 Tracking部分论文及代码解读
ORB SLAM2是在ORB SLAM基础上提出的一种性能十分优异的SLAM算法，主要通过tracking（跟踪）、local mapping（本地制图）、loopclosing（闭环检测）三个并行线程，流程如下图所示。本篇博客主要针对tracking线程展开。文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言这里我们直接开始看代码，通过解析代码来更明确详细的阐述ORB SLAM2 tracking部分的内容。以单目mono_tum.cc文件为例。首先main函
2020-11-17 21:16:21
470
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人