SSyangguang-CSDN博客

原创像素级图像融合综述

最近看了一篇17年像素级的图像融合方法综述Pixel-level image fusion: A survey of the state of the art，主要讲了基于多尺度分解和稀疏表示的融合方法，此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等领域的融合应用总结。文章很长全是字，好不容易才看完，在这里分享一下。Abstract像素级图像融合用于多种输入图像的融合，融合得到的图像对于人眼观察或者算法分析来说都提升了信息量，因此在遥感图像、医学影像和暗光数据中应用广泛。本文对像素级图

2021-07-21 11:29:25 5770

原创红外与可见光图像融合论文阅读（二）

这两天新看了一篇使用深度学习方法融合红外和可见光图像的模型Infrared and Visible Image Fusion using a Deep Learning Framework，和上次博文是同组，这里分享一下。本文提出一种深度学习方法融合可见光和红外图像的模型，首先将源图像分解为基部和细节部，然后基部用加权平均方法融合，细节部使用深度学习框架提取多层特征，再使用l1-norm和加权平均来产生候选融合细节部，用最大选择策略生成最终的融合细节部，结合该融合细节部和先前的融合基部进行重构即可获

2021-07-11 14:26:20 2627 3

原创红外与可见光图像融合论文阅读（一）

最近研究红外与可见光图像融合，看到一篇文章RFN-Nest: An end-to-end residual fusion network for infrared and visible images，这里记录一下。Abstract本文提出一种残差融合网络residual fusion network (RFN)，用于替换传统的融合方法，同时提出两种损失函数用于训练RFN：细节保留损失函数和特征增强损失函数。模型训练使用了两阶段训练方法，第一阶段训练一个基于nest connection (Nest

2021-07-08 16:32:09 5953 4

原创 Transformer进行底层图像处理任务

最近看了篇使用transformer进行底层图像处理任务的工作Pre-trained image processing transformer，这里分享一下。这篇文章使用ImageNet数据集和transformer结构训练出一个专门用于底层图像分处理任务的预训练模型image processing transformer (IPT)，在执行具体任务时只需要微调head和tail就可以处理自己的任务，同时还引入了对比学习用于模型适应不同任务。文中对去噪、超分辨和去雨都进行了实验对比，均获得SOTA效果。

2021-07-08 14:30:51 2852 1

原创百度飞桨顶会论文复现营DETR解读笔记

百度飞桨顶会论文复现营DETR解读笔记目标检测两个关键子任务：目标分类和目标定位。DETR模型是将目标检测视为集合预测（set prediction）的方式，将训练和预测做到真正的端对端，不需要NMS的后处理，也不需要人为设置anchor。核心是1.set-based的全局Loss，使用二分图匹配生成唯一的预测；2.基于encoder-decoder的transformer。CNN代表图像特征编码的backbone，transformer后面的输出是最终预测的结果集合，transformer

2021-06-02 22:29:00 3313 3

原创 Transformer以及attention机制介绍

Transformer详解1 self-attention机制1.1 self-attention的提出NLP和图像的输入都可以看作是一个vector，输出可能是类别或者数值，如果是一排vector，并且数量可变（例如句子长度不同），此时应该如何处理呢？首先来看对于一个句子，每个词的表示方法有两种：one-hot和word embedding。One-hot方法存在问题是每个词之间的联系被忽略了，word embedding会给每个词一个向量，包含了语义信息，最终一个句子就是一个长度不一的向

2021-05-29 17:10:08 7863 2

原创百度飞桨顶会论文复现营目标检测综述笔记

参加了百度飞桨顶会论文复现营第二期，这次是目标检测综述的笔记。RCNN到Faster RCNN这几种模型讲的实在太多了，直接从FPN开始吧。FPN：通过将深层特征与浅层特征相融合，并在多层预测，加强了浅层特征图的语义，特征更加鲁棒，定位更加准确。同时提高了检测精度，尤其对于小目标。模型结构图中蓝框越粗语义信息越多，图像分辨率越小，篮框越细上下文信息更强，图像分辨率越高。与Faster RCNN相比，FPN将单一尺度特征图上通过RPN网络提取的region proposal映射到特征金字塔多个

2021-05-26 11:06:55 509 1

原创 Perceiver解读：使用transformer进行多模态分类

Perceiver解读最近在看多模态学习的工作，发现一个使用transformer进行多模态融合的模型很有趣，分享一下，文章是Perceiver: General Perception with Iterative Attention。Perceiver的共享主要包括两点：1.使得transformer的层数可以更深，实验中可以堆叠48层；2.可以在不改变模型结构的基础上处理多种模态的数据，实验中对图像、音频、视频、点云数据都进行了测试，目前研究在图像、点云、音频、视频、音频+视频数据上进行了分类实

2021-05-25 16:04:13 4471 1

原创 DTI数据竞赛经验总结（高维小样本特征处理）

DTI数据竞赛经验总结（高维小样本特征处理）首先说这次比赛是我第一次正式打数据竞赛，结果比较扯，名次不好，模型过拟合很严重。写这篇文章主要是两个目的：一个是记录一下比赛中总结的一些经验和教训，另一个是总结一下高维特征降维的方法。比赛介绍比赛是基于多中心DTI影像的阿尔茨海默病分类竞赛，赛事介绍链接在此：https://mp.weixin.qq.com/s/KlJOOvwqXkD1ANoVG2AOuw。弥散磁共振影像（DTI）在阿尔茨海默病（Alzheimer's disease, AD）中应

2020-12-06 10:27:42 3292 9

原创百度飞桨图神经网络7日打卡营学习心得

图卷积网络原理首先可以利用节点特征进行关系预测、节点预测等任务。如果要将节点任务推广到图像领域，可以对图进行Graph Pooling操作，例如求和、均值、最大值等操作得到整张图的图特征，得到图特征之后就可以进行图相关的任务了，例如图匹配、图分类等。图神经网络和游走模型的区别：游走模型需要先训练得到embedding，再利用embedding做下游任务，如分类等。而图神经网络是端对端模型，边训练节点边做下游任务。理解的图卷积网络三大问题：如何从图像卷积类比到图结构卷积； .

2020-11-29 18:04:03 349 1

原创多核支持向量机原理及实现

了解非线性支持向量机模型后，应该对支持向量机的原理与核技巧都有掌握，本文在传统非线性支持向量机基础上向大家介绍多核支持向量机，这里就不对支持向量机原理与核函数花费太多笔墨了，主要介绍将单核支持向量机转换为多核支持向量机的思想。原理介绍完之后会提供Python实现的思路。核函数对于非线性问题，使用直线无法将正负实例分开，但是可以使用非线性模型将其分离。如果使用超曲面可以将正负实例则称这个问题是非线性问题，往往需要一个非线性变换将非线性问题转换为线性问题。可以通过映射函数，将原空间上的点映射到新空间上的点

2020-09-07 15:18:59 4398 9

原创 LASSO回归与Ridge回归方法及Python实现总结

LASSO回归与Ridge回归在线性回归算法中一般使用普通最小二乘法Ordinary Least Squares进行参数估计，这种方法进行参数估计时依赖于特征的独立性。如果样本的特征相关并且设计矩阵各列近似线性相关时，设计矩阵近似奇异，使用普通的最小二乘法估计模型参数会对观测目标的随机误差高度敏感，参数估计的方差过大，求解出来的模型很不稳定。在具体取值与真实值之间有较大偏差时，有...

2020-02-05 08:49:14 5238

原创基于Hough变换的轨道区域检测及动态目标预警

绪论随着轨道交通的快速发展，轨道交通所配套的安全预警系统也需要很大的提升。轨道交通密度的增大势必也会带来更多安全问题，例如轨道异物入侵、列车调度、铁轨故障等。轨道异物常常伴有不确定性和突发性，尤其是在列车流量较大的路段，异物入侵轨道区域可能会带来严重的事故。但是，由于安防监视器产业的大力发展，轨道异物入侵问题可以一定程度上通过监视器的全天候监视来解决。只要在容易出现异物入侵的轨道路段安装固定视...

2019-11-05 09:45:44 6349 23

翻译【文献翻译】Fully Convolutional Networks for Semantic Segmentation全卷积神经网络

全卷积神经网络摘要卷积网络是一种强大的视觉模型，它可以产生层次化特征。我们展示了卷积网络这种端到端、像素对像素的训练模型，超过了语义分割的最新技术水平。本文的关键点是构建了“全卷积”神经网络，它是一种输入尺寸任意的端对端神经网络，同时网络有着高效的学习和推理过程。我们定义并详细说明了全卷积神经网络的结构，解释它们在像素位置密集型预测任务中的应用，并得出与先前模型之间的连接。本文将经典的...

2019-08-21 22:17:36 2529

原创如何将snake模型与Hopfield神经网络结合用于提取边缘

Computerized Tumor Boundary Detection Using a Hopfield Neural Network这篇论文给出了结合的思想此方法在论文中被用于提取人脑多层MRI图像上每个切片中的脑肿瘤的边界。首先使用低通线性滤波器对每个原始MRI数据切片进行预处理以增强图像。然后根据形态学过程得到的轮廓为初始边界，设置初始搜索网格。最后一步是使用Hopfiel...

2018-04-06 15:23:29 1432 1

原创基于小波变换的数字水印技术

2018-02-28 23:36:44 16450 9

原创离散型Hopdield神经网络联想记忆功能

Hopdield神经网络用于联想记忆介绍：如上图这个例子，这就是离散型Hopfield网络用于联想记忆的工作方式。我们以T这个字母为例，首先生成一张完整的T字形图片，然后将图片映射到神经网络中的每个神经元，即每个像素都对应网络中的一个神经元，T字上的像素映射到网络上的神经元，对应值是1（激活状态），T字外的像素映射到网络上的神经元，对应值为0（抑制状态）。然后进行训练，训

2018-01-12 14:16:13 7159

原创 Hopfield神经网络处理TSP问题

TSP问题简介： TSP问题就是在一城市集合{A,B,C,…}中找出一个最短且经过每个城市各一次并回到起点的路径。为了将TSP问题映射到一神经网络的动态演化过程，首先必须找到一合适的表示方法。任一城市在最终路径上的次序可用一N维矢量表示。以10城市为例，如果城市A是第6个访问，则可以用0000010000，即只有第6个神经元的输出为1，其余都是0。为了表示表示所有城市，就需要N×N

2018-01-12 12:38:44 27585 6

原创 Hopfield神经网络

摘要：从系统观点看，前馈神经网络模型的计算能力有限，具有自身的一些缺点。而反馈型神经网络是一种反馈动力学系统，比前馈神经网络拥有更强的计算能力，可以通过反馈而加强全局稳定性。反向传播神经网络模型虽然很适合处理学习问题，但是却不适合处理组合优化问题。理论上来说，如果参数设置得当，Hopfield神经网络可以被用来优化任何问题。反馈神经网络中，所有神经元具有相同的地位，没有层次差

2018-01-12 10:47:55 59649 6

原创 win10下vs2013+CUDA8.0+cuDNN8.0的caffe编译过程

win10下vs2013+CUDA8.0+cuDNN8.0的caffe编译过程

2017-09-09 23:02:26 4302

原创 ubuntu16.04+CUDA8.0+cuDNN5.1+opencv2.4.13+Anaconda的caffe编译过程

ubuntu16.04+CUDA8.0+cuDNN5.1+opencv2.4.13+Anaconda的caffe编译过程

2017-09-09 11:22:28 404

SSyangguang的博客