ROYOLE'S

原创 【ISP图像处理】Joint Demosaicing and Denoising with Self Guidance

近年来，一些神经网络在联合去马赛克和去噪(JDD)方面表现出了良好的效果。大多数算法首先将Bayer原始图像分解为四通道RGGB图像，然后将其输入神经网络。这种做法忽略了一个事实，即绿色通道的采样率是红色和蓝色通道的两倍。在本文中，我们提出了一种自引导网络(SGNet)，其中绿色通道首先被估计，然后作为一个引导来恢复输入图像中的所有缺失值。此外，。我们的模型在四个公共数据集(包括两个真实数据集和两个合成数据集)上优于最先进的联合去马赛克和去噪方法。

原创 【ISP图像处理】A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior——图像去雾

单幅图像的雾霾去除一直是一个具有挑战性的问题，由于它ill-posed性质。在本文中，我们提出了一种颜色衰减先验方法，用于从单输入模糊图像中去除雾。在该先验条件下，通过建立线性模型对模糊图像的场景深度进行建模，并采用监督学习的方法对模型参数进行学习，可以很好地恢复图像的深度信息。有了雾霾图像的深度图，我们可以很容易地通过大气散射模型估计散射和恢复场景的亮度，从而有效地从单幅图像中去除雾霾。实验结果表明，该方法在效率和除雾效果方面都优于目前最先进的除雾算法。

原创 【ISP图像处理】Low Cost Edge Sensing for High Quality Demosaicking

使用彩色滤光器阵列(CFA)的数码相机需要一个去马赛克程序来形成完整的RGB图像。对于数码相机行业来说，解调速度和解调精度同样重要，因为相机用户已经习惯了即时查看拍摄的照片。此外，与去马赛克相关的成本不应超过使用CFA节省的成本。为此，我们回顾了经典的Hamilton-Adams (HA)算法，该算法在速度和准确性方面都优于许多复杂的技术。我们的分析表明，HA算法可以高效地利用原始捕获的数据，但其过于简化的通道间和通道内平滑阻碍了其准确性。因此，我们提出了一种非常低成本的边缘感知。

原创 【ISP图像处理】Self similarity driven color demosaicking

每个像素只测量一种颜色成分，红色、绿色或蓝色，人们可以在每个像素推断出整个颜色信息。这种推断需要深刻理解颜色之间的相互作用，以及图像局部几何的参与。虽然在以非常小的相对误差进行这种推断方面非常成功，但当局部几何不能从邻近像素推断时，最先进的去马赛克方法就失败了。在这种情况下，当薄结构或精细的周期性图案在原始中出现时，最先进的方法可能会产生令人不安的伪影，称为拉链效应，模糊和色斑。本文的目的是表明这些伪影可以通过涉及图像的自相似性来推断缺失的颜色来避免。

原创 【ISP图像处理】Demosaic去马赛克概念介绍以及相关方法整理

使用彩色滤光器阵列(CFA)的数码相机需要一个去马赛克程序来形成完整的RGB图像。一般的相机传感器都是采用彩色滤光片阵列(CFA)放置在光感测单元上，在每个像素处仅捕获三种原色成分中的一种。去马赛克方法主要关注于复原非常规区域，比如边缘以及纹理。

原创 json文件的读取和保存

【代码】json文件的读取和保存。

原创 【ISP图像处理】Tone Mapping基础知识及相关算法（附代码）

一般LDR（Low Dynamic Range）图像的颜色显示范围通常只有8位，即每个颜色通道的颜色数值有2^8=256个等级。这个量级用于描述现实场景中的景象往往十分有限，以LDR储存图像往往需要对颜色进行压缩。为了更加真实还原真实场景的颜色，HDR图像应运而生，一般通道位数超过8位，便可称为HDR，常见有12位和16位。虽然存储图像的信息量提升了，但是现在使用的大部分显示设备宽动态范围只有100:1甚至更低。为了使得HDR图像能够在低动态范围的显示设备上显示，Tone Mapping技术便十分重要。

原创 光照突变鲁棒的图像处理方法

对视频流进行处理的时候，用到的增强算法在光照突变的情况下，总是会出现不稳定的情况。搜集了以下方法进行参考，但是发现大部分光照鲁棒的方法主要是应对场景不变下的视频，使用帧间差法或者前背景建模的方法进行处理。对于场景实时变化的情况，这些方法都并不适用。所以最后还是通过设置阈值的方式，对于不同光照强度的场景采用了不同增强参数。

原创 【ISP图像处理】流程概述及经典算法（附python代码）

相机成像的完整链路中，首先，通过设备的光学镜片将光聚焦到传感器上，将光信号转为电信号，然后，通过核心的ISP模块对接收的电信号处理输出可视图像信号，再对图像进行存储和显示。其中，ISP主要功能有噪声去除、坏点去除、去马赛克、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。

原创 中文Chinese-CRNN代码训练中遇到loss nan的问题解决方法

首先通过以下代码，对问题进行定位with torch.autograd.detect_anomaly(): loss.backward()然后，发现问题出在损失函数上面了：RuntimeError: Function 'CtcLossBackward' returned nan values in its 0th output.检查CTC Loss的参数设置，由于我没有修改原始config中图像初始长宽，而我自己使用的数据集label都比较长，这导致CTC Loss中length比

原创 【置信度校准】On Calibration of Modern Neural Networks论文阅读笔记

摘要置信度校正——预测代表真实正确性似然（可能性）的概率估计问题，在许多应用中对分类模型是重要的。通过大量的实验，我们观察到深度网络的深度、宽度、权重衰减和批归一化是影响校准的重要因素。在这篇文章中,还提出了一种基于早期置信度校准方法Platt scaling的变式——temperature　scaling一．引言校准的概率的重要性分类网络不仅需要准确，还需要知道什么时候是不正确的。 在一些实际应用中，人们需要可靠的模型进行判断，而不是单纯的需要一个高准确率的模型．以自动驾

原创 机器学习——集成学习（model ensemble）

集成学习是通过构建并结合多个模型的结果完成最后的预测。在进行集成时，一个重要的准则是，个体模型需要保证“准确性”和“多样性”。能够看到，图（b）是只“好”而“同”，这样的集成并没有发挥不同个体模型的作用，图（c）是只“异”而“差”，这样集成只会使最后预测更差。 基于这一准则，目前集成学习大致分为两类： ①个体模型之间存在强依赖关系，必须串行生成的序列化方法。例如：Boosting ②个体模型之间不存在强依赖关系，可以并行化生成。例如...

原创 机器学习——贝叶斯分类器

以下理论都是基于西瓜书中对贝叶斯分类器章节的个人理解与整理，如果有问题，也欢迎大家一起进行讨论。一、贝叶斯决策论 对于贝叶斯决策论而言，我们希望可以得到一个使总体风险最小化的决策。那么对于风险的定义，有如下公式表示:公式样本被分类成的条件风险，而表示真实标记为的输入样本被误分类成的损失，表示后验概率，是输入样本总数。那么贝叶斯分类器的优化目标就是使条件风险最小化。 在这样一种情况下，如何获取后验概率即是机器学习模型需要学习到的东西。一般来说，这里有两种获取模式...

原创 【置信度校准】几种经典概率校准方法（Platt scaling、 histogram binning、 isotonic regression、 temperature scaling）

1. Platt scalingPlatt scaling本质上是对模型sigmoid输出的分数做概率变化。在此基础上引入了两个参数a， b，假设输入样本为$X_i$，模型输出分数为$f(X_i)$，则最终输出概率计算公式变为a, b参数优化通过最大化似然函数（最小化对数损失函数）的方法可以求得2. histogram binning对于所有输出未校准预测概率$p_i$，将其划分成$M$个bin，对于每个bin设置一个校准分数$theta_m$，如果预测概率$p_i$若如区间$.

原创 怎么从github上clone一个文件夹

创建一个本地空仓库，同时将远程git server url加入道git config文件中mkdir project_foldercd project_foldergit initgit remote add -f origin <url>在Config中允许使用Sparse Checkout模式：git config core.sparsecheckout true将需要下载的文件夹的名字，作为列表保存在.git/info/sparse-checkout文件中e

原创 使用xshell在Ubuntu系统下安装深度学习环境（Anaconda3+Pytorch）

1. 安装anaconda ·下载镜像源 wget https://repo.anaconda.com/archive/Anaconda3-5.3.1-Linux-x86_64.sh ·Bash安装 bash Anaconda3-5.3.1-Linux-x86_64.sh ·然后一直yes，到最后是否安装vs，选no2. 更新配置文件Cd 到bin echo 'export PATH="~/anaconda3/bin:$PATH"...

原创 pytorch中几种tensor掩码的获取方法（含代码）

方式一：直接取布尔值输入：target = torch.Tensor([1,0,0,2,0,0,3])mask = (target > 0)masked_target = target[mask]print(target)print(mask)print(masked_target)输入：target = torch.Tensor([1,0,0,2,0,0,3])mask = target.ge(0)masked_target = torch.masked_sel.

转载 图解PyTorch中的torch.gather函数

图解PyTorch中的torch.gather函数 - 知乎 (zhihu.com)

原创 熵、KL散度、交叉熵公式及通俗理解

熵根据香农信息论中对于熵的定义，给定一个字符集，假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码（哈夫曼编码）平均需要的比特数等于这个字符集的熵。如果字符集中字符概率越趋于平均，说明某个字符被预测的不确定性最大，只有最后我们知道了某一可能性确实发生了，才得到最大的信息量，因此它的熵就越大。而如果字符集中字符概率分布差异越大，则认为我们知道某一字符出现的可能性比其他类更大，这个字符集包含的信息量很小，因此它的熵越小。KL散度KL散度用于计算两个随机变量的差异程度。相.

原创 ACM bibtex format对于arXiv文章报错（page numbers missing in both pages and numpages）

使用引用格式@misc@misc{Mnih13, author = {V. Mnih and K. Kavukcuoglu and D. Silver and A. Graves and I. Antonoglou and D. Wierstra and M. Riedmiller}, title = {Playing Atari with Deep Reinforcement Learning}, year = {2013},..

原创 图像超分辨率重建顶会论文整理（项目地址，代码实现平台）（17-18年）

CVPR2017, CVPR2018, ECCV2018, ICCV2017Learning a Single Convolutional Super-Resolution Network for Multiple Degradationshttps://github.com/cszn/SRMD(matlab)Recovering Realistic Texture i...

原创 红外&遥感数据集总结

1. 红外数据集RGB-NIR Scene Dataset （包含9类RGB和近红外图片） https://ivrl.epfl.ch/research-2/research-downloads/supplementary_material-cvpr11-index-html/ OTCBVS Benchmark Dataset Collection （多种任务红外图像数据库）http://v...

原创 Win7下Ubuntu16.04双系统安装

1. 网上下载ubuntu16.04镜像文件这里提供开源镜像网站进行下载（http://mirrors.aliyun.com/ubuntu-releases/16.04/），64位电脑下载amd64版本或i386版本，32位下载i386版本。我保存在C盘路径下。2. 准备U盘，利用UltraISO制作启动盘3. 划分系统安装盘我电脑前段时间在光驱位加了硬盘，因此有一个大小为100G...

原创 图像识别初步

模式识别之图像识别笔记图像识别技术的定义为利用计算机对图像进行处理、分析和理解，以识别不同模式的目标和对象的技术。图像识别系统可以分为三个部分：  1、图像处理(1) 基本概念① 定义：把输入图像转化为计算机能够接受处理的信号，再进行图像恢复、增强等预处理操作② 目的：为之后的图像特征做准备(2) 主要方法① 图像的数字化：对图像进行抽样和量化，得到一个二维矩阵，矩阵的每一个元素即为一个像素，元素...

原创 《Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution》阅读笔记思维导图