光学显微镜自动聚焦之找出聚焦图像位置

想起高中物理课上讲过:在光学显微镜下观察及操控一个对象,第一步就是要进行对焦。这里实验室要做一个关于显微镜自动对焦的系统。

简而言之,大致分为以下三个方面:

A. 设计一个机构,将电机连接到显微镜的细准焦螺旋,用电机代替手工调焦。这是实现自动化必备的基础,这里用的是步进电机。

B. 控制电机部分,主要涉及电机的驱动、控制以及与电脑端之间的通信。

C. 视觉反馈部分,通过对显微镜采集到的图像进行视觉评估找出聚焦图片的位置,从而通过通信操作电机到指定位置。

这里,我们主要介绍第3部分。即在得到一个显微镜采集到的包含“离焦-聚焦-离焦”过程的连续图像后,如何找到聚焦图像的位置。
一. 理论介绍
大部分人都应该有经验,离焦情况下图像都比较模糊,而聚焦情况下图像边缘更为清晰。据此,大概有以下几种评估方法:

  1. 使用图像的灰度方差函数对图像进行评估

图像灰度方差的大小表示图像像素灰度分布的离散程度:当图像完全模糊时,图像像素点的灰度值分布离散程度较小,对应的灰度方差较小;而当图像较清晰时,图像像素点的灰度值分布离散程度较大,对应的灰度方差较大。

2.使用Laplace找图像边缘从而对图像进行评估
图像越清晰,边缘越明晰。因此可以通过找边缘的方式对图像进行聚焦评估,这里使用拉普拉斯算子找图像边缘。

3.使用使用图像的灰度熵(Gray entropy )作为评价函数
了解点信息论的应该清楚,对于一个事物知道的信息越多,确定性就越大,熵越小。对应于图像,图像越模糊,确定性越小,熵越大;反之越小。

4.空间域图像转换到频域,通过高频部分对图像进行评估
频域图像中,高频部分对应图像边缘信息,跟方法2类似,通过高频部分值的大小来评估图像清晰度。

二. 动手实践
介绍完理论部分,下面分别给出四中方法对应的MATLAB代码,代码不长,仅供参考。
//autofocus.m 程序主运行

videoname = '47.avi';
framefolder = video_to_frame(videoname);  %视频转化为图片
tic;  %与toc配合用于计算时间
var_index = im_var_evaluation(framefolder);  %以下分别采用4中评估方法
toc
fprintf('var_index:%d \n', var_index);
tic;
laplace_index = im_laplace_evaluation(framefolder);
toc
fprintf('laplace_index:%d \n', laplace_index);
tic;
fft_index = im_fft_evaluation(framefolder);
toc
fprintf('fft_index:%d \n', fft_index);
tic;
entropy_index = im_entropy_evaluation(framefolder);
toc
fprintf('ventropy_index:%d \n', entropy_index);

//video_to_frame.m

function [figurefolder] = video_to_frame(videoname)
% IMGETFRAMEANDHISTFROMVIDEO     从视频中获取每一帧图像
%   语法:
%       imgetframeandhistfromvideo(filename);
%   这个函数没有返回值,filename为视的路径加文件名, 视频必须在当前工作目录下
%   注意更改工作路径到当前文件路径

obj = VideoReader(videoname);%加载视频
numFrames = obj.NumberOfFrames; %帧的总数
figurefolder = [videoname(1:end-4), 'figure'];
[s,mess,messid] = mkdir(figurefolder);%创建文件夹
for k = 1 : numFrames %读取数据
    frame = read(obj, k);%读取第k帧图片
    figurePath = sprintf(['.\\', figurefolder, '\\%d.jpg'], k);
    imwrite(frame, figurePath); %保存帧
end

end

//im_var_evaluation.m

function [maxindex, maxvalue] = im_var_evaluation(foldername)
% IMGETMEANSANDVAR     从文件夹中所有图片的方差,并利用方差进行清晰度评估

finf = dir(strcat(foldername, '\\*.jpg')); %列出该文件夹下所有后缀名为jpg文件的属性
n = length(finf);  %获取文件的个数
resultdata = zeros(n, 1);
for k = 1:n
    filename = strcat(foldername, '\\', int2str(k), '.jpg');
    originalImage = imread(filename);
    grayImage = rgb2gray(originalImage);
    resultdata(k, 1) = (std2(grayImage))^2;  %计算方差
end
xlswrite([ foldername(1:end-6), 'var.xls'], resultdata, 1);
% 得到最大的方差值及其索引
[maxvalue, maxindex] = max(resultdata(:, 1));
xlswrite([ foldername(1:end-6), 'var.xls'], [maxvalue, maxindex], 1, 'D1');

end

//im_laplace_evaluation.m

function [maxindex, maxvalue ] = im_laplace_evaluation( foldername )
%UNTITLED Summary of this function goes here
%   利用梯度拉普拉斯变换对图像进行聚焦离焦评估
finf = dir(strcat(foldername, '\\*.jpg')); %列出该文件夹下所有后缀名为jpg文件的属性
n = length(finf);  %获取文件的个数
M = [-1, -4, -1; -4, 20, -4; -1, -4, -1];
resultdata = zeros(n, 1);
for k = 1:n
    filename = strcat(foldername, '\\', int2str(k), '.jpg');
    originalImage = imread(filename);
    grayImage = rgb2gray(originalImage);
    img = imfilter(grayImage, M);
    %此处可以设阈值为X的的高频边缘像素的个数
%    figurePath = sprintf(['.\\', '47laplace', '\\%d.jpg'], k);
%    imwrite(img, figurePath); %保存帧 
    resultdata(k, 1) = mean2(img);  %计算均值
end
xlswrite([ foldername(1:end-6), 'laplace.xls'], resultdata, 1);
% 得到最大的方差值及其索引
[maxvalue, maxindex] = max(resultdata(:, 1));
xlswrite([ foldername(1:end-6), 'laplace.xls'], [maxvalue, maxindex], 1, 'D1');

end

//im_fft_evaluation.m

function [maxindex, maxvalue ] = im_fft_evaluation( foldername )
%UNTITLED3 Summary of this function goes here
%   利用傅里叶变换
finf = dir(strcat(foldername, '\\*.jpg')); %列出该文件夹下所有后缀名为jpg文件的属性
n = length(finf);  %获取文件的个数
resultdata = zeros(n, 1);

I = imread(strcat(foldername, '\\', '1', '.jpg'));
row = size(I,1);
col = size(I,2);

for k = 1:n
    filename = strcat(foldername, '\\', int2str(k), '.jpg');
    originalImage = imread(filename);
    grayImage = rgb2gray(originalImage);
    fcoef = fft2(double(grayImage));
    spectrum = fftshift(fcoef);
    tmp2 = log(1+abs(spectrum));
    tmp2((row/2-20):(row/2+20), (col/2-20):(col/2+20)) = 0;  %将频域图像中低频部分的数据去掉(也可以说是置为常数)
    tmp = im2uint8(mat2gray(tmp2)); %数据转换为图片
%    figurePath = sprintf(['.\\', '47bfft', '\\%d.jpg'], k);
%    imwrite(tmp, figurePath); %保存
    resultdata(k, 1) = mean2(tmp);  %计算均值
end 

xlswrite([ foldername(1:end-6), 'fft.xls'], resultdata, 1);
% 得到最大的方差值及其索引
[maxvalue, maxindex] = max(resultdata(:, 1));
xlswrite([ foldername(1:end-6), 'fft.xls'], [maxvalue, maxindex], 1, 'D1');

end

//im_entropy_evaluation.m

function [maxindex, maxvalue ] = im_entropy_evaluation( foldername )
%UNTITLED2 Summary of this function goes here
%   Detailed explanation goes here
finf = dir(strcat(foldername, '\\*.jpg')); %列出该文件夹下所有后缀名为jpg文件的属性
n = length(finf);  %获取文件的个数
resultdata = zeros(n, 1);
for k = 1:n
    filename = strcat(foldername, '\\', int2str(k), '.jpg');
    originalImage = imread(filename);
    grayImage = rgb2gray(originalImage);
    [m, n] = size(grayImage);
    [counts, x] = imhist(grayImage, 32);
    p = counts/m/n;
    resultdata(k, 1) = -p(p>0)' * log2(p(p>0));  %计算方差
end
xlswrite([ foldername(1:end-6), 'entropy.xls'], resultdata, 1);
% 找出信息熵最小即为最清晰的图片
[maxvalue, maxindex] = min(resultdata(:, 1));
xlswrite([ foldername(1:end-6), 'entropy.xls'], [maxvalue, maxindex], 1, 'D1');

end

大致代码部分就是这样,仅供参考。

三. 结果分析与改进
结果分析,可以将同一个视频序列用不同的方法评估,结果进行对比。
传视频不方便,这里贴几张视频中的图片(整个视频是从离焦到聚焦再到离焦的过程):

对于这样一个序列,不同方法的结果对比:
这里写图片描述
对结果进行归一化的MATLAB程序:
//draw_curve_graph.m

%绘制xlsx第一列数据的曲线图
%   Detailed explanation goes here
var = xlsread('48var.xls');  %读取excel中的数据
laplace = xlsread('48laplace.xls');
fft = xlsread('48fft.xls');
entropy = xlsread('48entropy.xls');

var_raw=var(:, 1);  %提取第一列数据
laplace_raw=laplace(:, 1);
fft_raw=fft(:, 1);
entropy_raw=entropy(:, 1);
%数据作归一化处理
var_norm=0.1+(var_raw-min(var_raw))/(max(var_raw)-min(var_raw))*(0.9-0.1);
laplace_norm=0.1+(laplace_raw-min(laplace_raw))/(max(laplace_raw)-min(laplace_raw))*(0.9-0.1);
fft_norm=0.1+(fft_raw-min(fft_raw))/(max(fft_raw)-min(fft_raw))*(0.9-0.1);
entropy_norm=0.9-(entropy_raw-min(entropy_raw))/(max(entropy_raw)-min(entropy_raw))*(0.9-0.1);
%画图
plot(var_norm, 'b-');
hold on;
plot(laplace_norm, 'g-');
hold on;
plot(entropy_norm, 'r-');
hold on;
plot(fft_norm, 'c-');
xlabel('frames');ylabel('evluations');  
title('The comparison for several algorithms of autofocus');
legend('Gray variance','Gradient', 'Gray entropy', 'Frequency domain');
axis([0 ceil(size(var_raw,1)/10)*10 0 1]);

综合多次试验结果来看,使用灰度方差函数的方法应该是比较好的,首先它比较平滑,很好的模拟了“离焦——》聚焦——》离焦”的过程,还有它的运算时间也比较短。使用离散傅里叶在频域中处理的方法不太稳定。laplace、fft和entropy曲线看起来总是比较对称,观察一下最初的数据,发现可能是由于他们数据的range比较小导致的。

对于上述有需要改进的地方:
1.目前是使用整张图片做评估,下一步可以只选择target的邻域来进行处理,这样会抗干扰性更强一点。MATLAB中选ROI的方法:http://www.ilovematlab.cn/thread-111922-1-2.html

参考:
1.《面向细胞生长支架组装的微纳操作机器人多探针识别与
跟踪》
2.《纺织纤维显微图像的自动聚焦以及多焦面问题的研究》_丁喻洋

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值