ISP PIPLINE (二) LensShading Correct

最新推荐文章于 2024-07-21 06:30:00 发布
最新推荐文章于 2024-07-21 06:30:00 发布
阅读量1.3k 收藏 30
点赞数 2
原文链接：http://www.cnblogs.com/zhangAlin/p/10661757.html
版权

 

what is the LSC?

            lens shading 分为：Y-shading , color shading。

            

            在讲LSC之前，我们先来理解一个重要的术语--CRA(Chief ray angle)。

            CRA：分为lens cra , sensor cra两种。

           1.1什么是lens CRA?

            定义：最大像高处的主光线与光轴的倾角。备注：最大像高定义为 像素响应降低为零度角像素响应的80%的像素点。

             因为Lens CRA 的存在，所以就出现了FOV （filed of view) 所谓的视角的概念。视角大小=2*CRA。

             下图为lens CRA示意图。

                                                                 

             

              1.2 什么是sensor的CRA

               sensor的CRA 说白了是sensor与之配对的micro lens的CRA. 

               圈1 表示lens折射过来的光，圈2表示micro lens再次折射的光。可以看出，sensor的光电转换二极管接收到的光并不是                 lens直接折射过来的，而是经过microlens再次折射过来的。所以你明白了什么呢？！ 这也就是为什么图像边缘会变暗                   的原因，光电转换二极管并不会全部接收到光能。这是LensShading中Y-shading的主要原因。

                                                             

               一般情况下，当lens_cra < micro_cra的时候，在sensor传感器的边缘只会出现Y-shading。

                                                                      

                倘若，lens_cra > micro_cra, sensor传感器可能会因为无法有效捕捉某频率的光，就会出现偏色的情况，即Color-                          shading。比如microlens 对R ,G,B的折射率不同，在R_pixel上接收了很小的能量，而在B_pixel上接受了相对较多的能                  量。

                                                                      

              如何处理或者叫减轻shading带来的图像不均问题呢？

              1.lens cra要小于micro cra,这样既可以减缓y-shading,又可以大大避免color-shading.

              2.因为镜头是圆的，画面的对角线是最接近镜头成像直径的，所以sensor有效区域最大尺寸是对角线尺寸

              3.硬件矫正

                                 

              4.软件矫正（下面会细讲）

 

how to LSC with software?

          一般模组厂会根据矫正工具将图像划分为17*13(qualcomm),15*15(MTK),33*25(Samsung)等区间，计算每一块的四通道平均值，然后对每个通道与中心块的四通道平均值做除法，得到每个点的增益倍数，整个lut存储在otp中，手机端就可以根据lut进行插值计算每个pixel的增益。

            一般用双线性差值或者多项式拟合的方法，确定每个pixel的增益。

           

            

           原始图片的rgb通道(节选自网络)：

                                                       

          y-shading 增益之后，基本与中心数值在同一个平面(节选自网络)：

                                                      

           color-shading 增益之后，各区域的r/g，b/g均值相同(节选自网络)：

                                                     

         

          上面三张图片为了让大家理解，节选自网络。本人也模拟了shading矫正过程，但由于colorshading不严重所以矫正效果不明显。下面是我的矫正过程：

           1.原始图：

                                                            

           2.三通道三维图

                                                           

         3.(17*13block)r,g,b平均

                                                          

         4.colorgain

                                                         

       5、lensgain=ygain+colorgain

                                                        

      6. 还原后三通道值

                                                       

       7.还原后图片

                                                    

附上我的代码：

clc
clear all;
close all;
BLOCK_H = 17
BLOCK_V = 13
img = imread('1.bmp');
r= medfilt2(img(:,:,1));%中值滤波抑制边缘凸起噪声
g= medfilt2(img(:,:,2));
b= medfilt2(img(:,:,3));
figure(1)
[rows,cols,channels] = size(img);
width = 1:cols; height = 1:rows; [X1,Y1] = meshgrid(width,height);
mesh(X1,Y1,im2double(r)); hold on; mesh(X1,Y1,im2double(g)); hold on; mesh(X1,Y1,im2double(b));
 
 
subSampleRGB=ones(BLOCK_V+1,BLOCK_H+1,3);%6*6*3 gainlut
 
strideX=floor(cols/BLOCK_H)
strideY=floor(rows/BLOCK_V)
for i=1:BLOCK_H+1%cols
    for j=1:BLOCK_V+1%rows
        for k=1:3%channels
            if i==1
                if j==1%left_top
                   subSampleRGB(j,i,k)=mean2( img(1:floor(strideY*0.5),                                1:floor(strideX*0.5),k) );
                elseif j==BLOCK_V+1 %left_bottom
                   subSampleRGB(j,i,k)=mean2( img(floor((BLOCK_V-0.5)*strideY):BLOCK_V*strideY,        1:floor(strideX*0.5),k) );
                else %left_middle
                   subSampleRGB(j,i,k)=mean2( img(floor((j-1-0.5)*strideY):floor((j-1+0.5)*strideY),   1:floor(strideX*0.5),k) );
                end
            elseif i==BLOCK_H+1
                if j==1%right_top
                   subSampleRGB(j,i,k)=mean2( img(1:floor(strideY*0.5),                                floor(strideX*(BLOCK_H-0.5)):BLOCK_H*strideX,k) );
                elseif j==BLOCK_V+1 %right_bottom
                   subSampleRGB(j,i,k)=mean2( img(floor((BLOCK_V-0.5)*strideY):BLOCK_V*strideY,        floor(strideX*(BLOCK_H-0.5)):BLOCK_H*strideX,k) );
                else %right_middle
                   subSampleRGB(j,i,k)=mean2( img(floor((j-1-0.5)*strideY):floor((j-1+0.5)*strideY),        floor(strideX*(BLOCK_H-0.5)):BLOCK_H*strideX,k) );
                end
            elseif j==1%top without corner
                if i~=1&&i~=BLOCK_H+1
                    subSampleRGB(j,i,k)=mean2( img(1:floor(0.5*strideY),                               floor(strideX*(i-1-0.5)):floor(strideX*(i-1+0.5)),k) );
                end
            elseif j==BLOCK_V+1%bottom without corner
                if i~=1&&i~=BLOCK_H+1
                    subSampleRGB(j,i,k)=mean2( img(floor((BLOCK_V-0.5)*strideY):BLOCK_V*strideY,       floor(strideX*(i-1-0.5)):floor(strideX*(i-1+0.5)),k));
                end
            else
                if i~=1&&i~=BLOCK_H+1&&j~=1&&j~=BLOCK_V+1 %center area
                    subSampleRGB(j,i,k)=mean2( img(floor((j-1-0.5)*strideY):floor((j-1+0.5)*strideY),  floor(strideX*(i-1-0.5)):floor(strideX*(i-1+0.5)),k));
                end
            end
        end
    end
end
 
figure(2)
[A,B] = meshgrid(1:BLOCK_H+1,1:BLOCK_V+1);
mesh(A,B,subSampleRGB(:,:,1));
hold on 
mesh(A,B,subSampleRGB(:,:,2));
hold on
mesh(A,B,subSampleRGB(:,:,3));
 
 
%Gainlut luma gain (Y-shading gain)
gainlut=zeros(BLOCK_V+1,BLOCK_H+1,3);% gainlut
for i = 1:BLOCK_H+1
    for j =1:BLOCK_V+1
        for k = 1:3
           gainlut(j,i,k)=mean2( subSampleRGB(floor(BLOCK_V/2+1) : floor(BLOCK_V/2+1)+1,  floor(BLOCK_H/2+1) : floor(BLOCK_H/2+1)+1,k)) / subSampleRGB(j,i,k);
        end
    end
end

%Gainlut chroma gain (colorshading gain)
gainlut_c = zeros(BLOCK_V+1,BLOCK_H+1,2);
center_RoverG = mean2( subSampleRGB(floor(BLOCK_V/2+1) : floor(BLOCK_V/2+1)+1,  floor(BLOCK_H/2+1) : floor(BLOCK_H/2+1)+1,1)) / mean2( subSampleRGB(floor(BLOCK_V/2+1) : floor(BLOCK_V/2+1)+1,  floor(BLOCK_H/2+1) : floor(BLOCK_H/2+1)+1,2));
center_BoverG = mean2( subSampleRGB(floor(BLOCK_V/2+1) : floor(BLOCK_V/2+1)+1,  floor(BLOCK_H/2+1) : floor(BLOCK_H/2+1)+1,3)) / mean2( subSampleRGB(floor(BLOCK_V/2+1) : floor(BLOCK_V/2+1)+1,  floor(BLOCK_H/2+1) : floor(BLOCK_H/2+1)+1,2));
for i = 1:BLOCK_H+1
    for j =1:BLOCK_V+1
           RoverG = subSampleRGB(j,i,1)/subSampleRGB(j,i,2);
           BoverG = subSampleRGB(j,i,3)/subSampleRGB(j,i,2);
           gainlut_c(j,i,1) = center_RoverG/RoverG-1;
           gainlut_c(j,i,2) = center_BoverG/BoverG-1;
    end
end

%chroma+luma gain
gainlut_full = zeros(BLOCK_V+1,BLOCK_H+1,2);
for i = 1:BLOCK_H+1
    for j =1:BLOCK_V+1
           gainlut_full(:,:,1) = gainlut(:,:,1) + gainlut_c(j,i,1);
           gainlut_full(:,:,2) = gainlut(:,:,2) + gainlut_c(j,i,2);
    end
end


%(BLOCK_H+1)*(BLOCK_V+1) colorgain
figure(3)
[C,D] = meshgrid(1:BLOCK_H+1,1:BLOCK_V+1);
mesh(C,D,gainlut_c(:,:,1))
hold on
mesh(C,D,gainlut_c(:,:,2))



figure(4)
mesh(C,D,gainlut_full(:,:,1))
hold on
mesh(C,D,gainlut_full(:,:,2))
hold on
mesh(C,D,gainlut(:,:,2))
 
 
 
%双线性插值FullGainLut
x = 1:strideX:cols+1;
x(end) = cols;
y = 1:strideY:rows+1;
y(end) = rows;

xitp = 1:cols; 
yitp = 1:rows;
[Xitp,Yitp]=meshgrid(xitp,yitp);  
rgain=interp2(x,y,gainlut(:,:,1),Xitp,Yitp);
ggain=interp2(x,y,gainlut(:,:,2),Xitp,Yitp);
bgain=interp2(x,y,gainlut(:,:,3),Xitp,Yitp);
 

%shading r,b,g gain
figure(5)
r=im2uint8( (im2double(r).*rgain) );
mesh(X1,Y1,im2double(r));
b=im2uint8( (im2double(b).*bgain) );
hold on
mesh(X1,Y1,im2double(b));
g=im2uint8( (im2double(g).*ggain) );
hold on
mesh(X1,Y1,im2double(g));

%shading corrected img
figure(6)
lscgain = cat(3,rgain,ggain,bgain);%merge三通道gain
imgDoubleType = im2double(img);
imgDoubleType = imgDoubleType.*lscgain;
imgUint = im2uint8(imgDoubleType);
imshow(imgUint)

 

转载于:https://www.cnblogs.com/zhangAlin/p/10661757.html

weixin_34327223
关注
ISP PIPLINE HDR
camera store
03-23 1万+
在讲HDR之前先理解一些概念，要知道为什么进行HDR?再去想如何进行HDR。 自然界的中光强度很宽，而人眼对高亮，极暗环境的细节分辨能力比较弱。而摄像头记录的范围更窄，真正的HDR技术就是记录视觉范围内高亮，极暗环境的中的细节分辨率。 首先、看一下DR(dynamic range)的定义： ...
ISP PIPLINE Denoise 之 space domain denoise 空域降噪
camera store
03-26 7948
空间域噪声类型
【笔记】CRA
an_ape_fengfeng的博客
04-14 1263
介绍了Lens CRA和 Sensor CRA的定义，介绍了关于减小Sensor CRA影响的措施和方法，CRA不匹配导致的两种shading现象以及Lens CRA和Sensor CRA需要注意的选配
Adaptive lens shading correction.pdf
09-20
apple公司的lens shading专利，用于iphone手机上使用。
LSC(镜头阴影矫正)——每日挑战第二天
2401_83885036的博客
07-21 942
（Lens Shading Correction）是ISP算法中的一个重要组成部分，用于校正镜头遮挡（lens shading）现象。镜头遮挡是由于镜头和图像传感器的光学特性导致的图像亮度不均匀的现象。通常，图像的中心部分较亮，而边缘部分较暗。LSC算法的目标是通过校正这种亮度不均匀，使得图像在整个视场中具有相同的亮度水平。
ISP pipeline之lens shading correction
nicholas_duan的博客
09-13 1374
ISP lSC
LSC(Lens Shading Correction)——镜头阴影矫正
weixin_44708624的博客
08-01 2310
产生原因 由于镜头原因导致光线丢失 注意红线：此时颜色就分离了 校正方法： 网格化或者半径化方法，用一张灰度图来储存增益，各个像素点×增益恢复到最终的情况，网格化的方法通过划分网格节约存储空间 代码： 不考虑像素存储 function LSCCalibrationM(path) lscRefImg = double(imread(path)); tmp = ones(size(l...
ISP Pipline
a1的博客
08-04 1997
ISP Pipeline 一.ISP Pipeline 名称解释1.知乎网友回答：2.Understanding ISP Pipeline专家回答 二.ISP 详细讲解RAW域处理 一.ISP Pipeline 名称解释 管道线 1.知乎网友回答： pi...
ISP PIPLINE (一) BLC 以及 线性化
weixin_33850015的博客
02-24 1609
whatis the BlackLevel? 暗电流来源1、raw8为例，单个pixel的有效值是0~255，但是实际AD芯片的精度可能无法将电压值很小的一部分转换出来，芯片厂会刻意添加一个固定的偏移量以达到阈值转换电压，使输出的pixel value在5（阈值电压，非固定）~255之间，目的是为了让暗部的细节完全保留，当然同时也...
ISP PIPLINE (十四) AE(自动曝光)
weixin_33877092的博客
03-29 1722
自动曝光可以可以通过调节 模拟增益，数字增益，曝光时间，光圈大小来调剂曝光。 曝光在ISP PIPLINE的位置。 （先介绍一个额外的知识点： ） gamma compression（也就是de-gamma（反向的gamma),实际上更亮的场景生成pixel值的时候被采集设备压缩了(量化的目的就是为了在有限的bit中表示更大的亮度，比如8bi...
ISP PIPLINE color correction
热门推荐
camera store
03-24 1万+
什么是colorcorrection? 为什么要进行colorcorrection? 转换后的色彩饱和度更加明显，更加符合人眼感官。 如何进行colorcorrection? 下图是步骤： 第一步：之所以用标准24色图srgb求逆运算gamma，就是因为ccm在gamma之前，为了抵消掉真正的gamma带来的影响，我们只需矫正到gamma之前的状态。 ...
图像——vignetting shading 光晕
qq_28117589的博客
01-12 3211
referance 表现：渐晕，图像中间像素值亮度和边角值不一致。 Lens shading 可细分为luma shading（亮度均匀性）和color shading（色彩均匀性）两种 Luma shading就是我们常说的暗角，即图像图像呈现出中心区域较亮，四周偏暗的现象，如图（a）。 Color Shading则表现在图像中心区域与四周颜色不一致，即图像的中心区域或者四周出现偏色，如图（b）。 IR filter lens 对不同光谱（色温）的shift不同，蓝波片效果较好，容易导致color sh
ISP Pipeline 黑电平 以及 线性化
qq_36037216的博客
05-17 3702
camera pipeline基本如下： 黑电平(OB) black level产生原因： 产生black level原因首先与camera工作原理有关，需要保留电压值很小的暗部细节。camera sensor工作原理：先感应到光信号，接着将光信号转换为模拟信号，再通过A/D转换成数字信号。我们以10bit数据为例，转换成的数字信号则在0~1023的范围内，然而A/D转换器的精度无法将电压值很小的一部分转换出来，从而导致暗态细节损失。这时需人为地给输出信号加一个固定的偏移量，使整体信号值放大，有效保留了电
Color shading的成因及现象
小鲨鱼的博客
08-24 849
但是由于各个场景下的色温不同， 在某个色温下RGB三原色 的透射 能力不同(低色温 R 的透射能力强些，高色温 B 的透射能力强些)，从而出现了四周和中心颜色有偏差的问题。2：如果用中色温的shading 去补偿 低色温的话，室内的数据会好很多，但是 A light 偏红比较严重，为了降低 R 的分量 会出现Alight光源下 四周偏青色的问题。2：如果此时用稍低色温的光源去Gan 高色温的shading，此环境下的Color shading 会减轻 ，但是室外场景会变差会出现 四周偏青色的问题。
【车载影像】什么是Color Shading？
weixin_44174312的博客
04-25 647
Color Shading和Luma Shading一样都是属于lens shading 可以进行标定处理。镜头表面的CRA(可以聚焦到像素上的光线的最大角度被定义为一个参数)不匹配。Color Shading 的表现是图像中心到边缘的色彩不一致。IR filter ,普通IR随角度变化导致光谱偏移。色温也是影响Color Shading的一个因数。不同的色温RGB三通道衰减不能重合。
Camera的学习笔记（二）——ISP
【水能凝冰，冰自坚】的专栏
11-12 3205
ISP概念： ISP是Image Signal Processor的缩写，全称是影像处理器。在相机成像的整个环节中，它负责接收感光元件（Sensor）的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，对图像质量起着非常重要的作用。 ISP功能简述： ISP的功能比较杂，基本上跟图像效果有关的它都有份。它内部包含多个图...
ISP- LSC
2301_77040483的博客
01-29 623
LSC：暗角矫正。分为Luma Shading（亮度均匀性）和Color Shading（色彩均匀性）。
对MATLAB中meshgrid的理解
md_555的专栏
12-17 2057
备注： 这些内容是我在阅读了meshgrid源代码及看了http://zhidao.baidu.com/question/169889793.html?an=0&si=1这个帖子之后的总结。 函数功能： 生成绘制3-D图形所需的网格数据。在计算机中进行绘图操作时， 往往需要一些采样点，然后根据这些采样点来绘制出整个图形。在进行3-D绘图操作时，涉及到x、y、z三组数据，而x、y这两组数据可以看
xgbreagressor pipline
最新发布
09-12
XGBRegressor是Extreme Gradient Boosting (XGBoost)库中的回归模型，它是一种基于梯度提升算法的强化学习模型，用于解决机器学习中的回归任务。当你想要构建一个XGBoost管道（pipeline）时，就是在数据分析流水线中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值