计算CAF FV值的demo code

已于 2023-12-24 10:50:27 修改
阅读量1.1k 收藏 3
点赞数
分类专栏： 3.2.2 Android系统-Camera 文章标签： FV AF camera
于 2022-08-27 22:13:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012906122/article/details/126563270
版权

1 CAF FV基本介绍

自动对焦AF有很多算法，用的最多的是CAF和PDAF。
完成AF的第一步就是计算出FV，本文首先提供了一份计算CAF FV值的demo code，以方便有需要的人使用，毕竟现在CSDN上好多AF的code都无法使用。
然后本文将demo code合入到平台的HAL层，并做了几点优化。
CAF是Continuous Auto Focus(持续自动对焦)的缩写。
FV是Focus Value(对焦值)的缩写。
ROI是Region Of Interest(感兴趣区域)的缩写。
简单来讲，FV是由一张图中ROI区域的灰度值计算出来的。原理请看参考资料中的pdf文档"反差式相机对焦系统原理"。

2 focus_test_code

2.1 编译

直接运行编译脚本build.sh即可

2.2 运行

直接运行./test即可
demo code的输入是bmp图片，取10张由模糊到清晰再到模糊的bmp图片(1920x1080)，选固定的对焦区域，查看FV值

可以看到FV值由低到高再到低，表示图片由模糊到清晰再到模糊的过程。
demo code放在github上：
https://github.com/hanyuhang-hz/focus-value

3 合入到平台HAL层及优化

3.1 合入到平台HAL层

demo code的输入是bmp，得到FV的转化逻辑：
bmp->bgr->rgb->grey->FV
而HAL层的输入是nv21(yuv420sp)，最早的转化逻辑是：
nv21->bmp，bmp->bgr->rgb->grey->FV
nv21->bmp参考:
https://blog.csdn.net/qq_42955378/article/details/117477173
即nv21->bgr+header->bmp，即转化逻辑变为：
nv21->bgr+header->bmp，bmp->bgr->rgb->grey->FV
过于繁琐，不如优化掉直接：
nv21->rgb->grey->FV

3.2 log看耗时

从实际预览看计算FV会导致严重耗时，"卡顿"出现
log看主要耗时：

02-09 10:25:40.834  3289  5875 I MIPISensor:   400 captureNV21 - captureNV21, hyh contrast focus>>>
02-09 10:25:40.834  3289  5875 I MIPISensor:  1741 ImageLoad - ImageLoad, hyh contrast ImageLoad>>>
02-09 10:25:40.834  3289  5875 I MIPISensor:  1767 ImageLoad - ImageLoad, hyh contrast ImageLoad rgbdata malloc>>>
02-09 10:25:40.834  3289  5875 I MIPISensor:  1774 ImageLoad - ImageLoad, hyh contrast ImageLoad rgbdata malloc<<<
02-09 10:25:40.834  3289  5875 I MIPISensor:  1822 NV212RGBorBGR - NV212RGBorBGR, hyh contrast NV212RGBorBGR>>>
02-09 10:25:41.204  3289  5875 I MIPISensor:  1853 NV212RGBorBGR - NV212RGBorBGR, hyh contrast NV212RGBorBGR<<<
02-09 10:25:41.204  3289  5875 I MIPISensor:  1790 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc>>>
02-09 10:25:41.204  3289  5875 I MIPISensor:  1797 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc<<<
02-09 10:25:41.219  3289  5875 I MIPISensor:  1816 ImageLoad - ImageLoad, hyh contrast ImageLoad<<<
02-09 10:25:41.219  3289  5875 I MIPISensor:   417 captureNV21 - hyh contrast:===============================================>1828
02-09 10:25:41.220  3289  5875 I MIPISensor:   427 captureNV21 - captureNV21, hyh contrast focus<<<

共耗时386ms，可以看到时间主要耗时在NV21->RGB的过程中，这个过程共耗时370ms。

3.3 优化

再看转化逻辑：
nv21->rgb->grey->FV
实际分析可以得出结论，FV只与灰度图有关，而yuv的y不就是灰度么？!
yuv2grey:

将nv21->rgb->grey->FV 改为 nv21->grey->FV:

//dump grey
02-09 15:13:50.517  3292  5670 I MIPISensor:   399 captureNV21 - captureNV21, hyh contrast focus>>>
02-09 15:13:50.517  3292  5670 I MIPISensor:  1742 ImageLoad - ImageLoad, hyh contrast ImageLoad>>>
02-09 15:13:50.517  3292  5670 I MIPISensor:  1793 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc>>>
02-09 15:13:50.517  3292  5670 I MIPISensor:  1800 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc<<<
02-09 15:13:50.599  3292  5670 I MIPISensor:  1812 ImageLoad - hyh contrast filename_grey:/data/misc/cameraserver/2970_1920x1080.grey
02-09 15:13:50.610  3292  5670 I MIPISensor:  1822 ImageLoad - ImageLoad, hyh contrast ImageLoad<<<
02-09 15:13:50.610  3292  5670 I MIPISensor:   418 captureNV21 - hyh contrast:===============================================>1935
02-09 15:13:50.610  3292  5670 I MIPISensor:   428 captureNV21 - captureNV21, hyh contrast focus<<<

//not dump grey
02-09 15:23:04.302  3288  5822 I MIPISensor:   399 captureNV21 - captureNV21, hyh contrast focus>>>
02-09 15:23:04.302  3288  5822 I MIPISensor:  1742 ImageLoad - ImageLoad, hyh contrast ImageLoad>>>
02-09 15:23:04.302  3288  5822 I MIPISensor:  1793 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc>>>
02-09 15:23:04.302  3288  5822 I MIPISensor:  1800 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc<<<
02-09 15:23:04.389  3288  5822 I MIPISensor:  1822 ImageLoad - ImageLoad, hyh contrast ImageLoad<<<<
02-09 15:23:04.389  3288  5822 I MIPISensor:   418 captureNV21 - hyh contrast:===============================================>1810
02-09 15:23:04.389  3288  5822 I MIPISensor:   428 captureNV21 - captureNV21, hyh contrast focus<<<

优化后，计算FV的时间由380ms->87ms。
继续优化，将nv21->grey由的code，由for循环改为memcpy后：

//dump grey
02-09 15:36:31.468  3288  5648 I MIPISensor:   399 captureNV21 - captureNV21, hyh contrast focus>>>
02-09 15:36:31.468  3288  5648 I MIPISensor:  1742 ImageLoad - ImageLoad, hyh contrast ImageLoad>>>>
02-09 15:36:31.468  3288  5648 I MIPISensor:  1793 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc>>>
02-09 15:36:31.468  3288  5648 I MIPISensor:  1800 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc<<<
02-09 15:36:31.485  3288  5648 I MIPISensor:  1813 ImageLoad - hyh contrast filename_grey:/data/misc/cameraserver/1740_1920x1080.grey
02-09 15:36:31.516  3288  5648 I MIPISensor:  1823 ImageLoad - ImageLoad, hyh contrast ImageLoad<<<<
02-09 15:36:31.516  3288  5648 I MIPISensor:   418 captureNV21 - hyh contrast:===============================================>2462
02-09 15:36:31.516  3288  5648 I MIPISensor:   428 captureNV21 - captureNV21, hyh contrast focus<<<

//not dump grey
02-09 15:46:02.363  3290  5873 I MIPISensor:   399 captureNV21 - captureNV21, hyh contrast focus>>>
02-09 15:46:02.363  3290  5873 I MIPISensor:  1742 ImageLoad - ImageLoad, hyh contrast ImageLoad>>>>
02-09 15:46:02.363  3290  5873 I MIPISensor:  1793 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc>>>
02-09 15:46:02.363  3290  5873 I MIPISensor:  1800 ImageLoad - ImageLoad, hyh contrast ImageLoad greydata malloc<<<<
02-09 15:46:02.380  3290  5873 I MIPISensor:  1823 ImageLoad - ImageLoad, hyh contrast ImageLoad<<<<
02-09 15:46:02.381  3290  5873 I MIPISensor:   418 captureNV21 - hyh contrast:===============================================>1712
02-09 15:46:02.384  3290  5873 I MIPISensor:   428 captureNV21 - captureNV21, hyh contrast focus<<<

优化后，计算FV的时间由87ms->21ms。


3.4 log看耗时

手动调节sensor焦距，FV值会按照预期变化且如图每帧计算的FV值时间分别为17ms,14ms,18ms和21ms。

4 参考资料

https://github.com/Windaway/Autofocus

vimer-hz
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FV算法
zakexu的专栏
08-21 4774
Fisher Vector（FV）是一种图像/视频feature encoding和pooling的算法； 1.算法 （1）对图像提取T个descriptor，每幅图像可以表示为：                                                                                                          
FocusValue探索
UyuanUyuan的专栏
11-29 1953
图像的H和V方向分开来单独计算，mark一下，matlab仿真一个方向的，就是设计一个高通滤波器，把滤波出来的像素相加， 滤波器采用FDAtool设计，FIR或者IIR。 im1 = imread('1.jpg'); im2 = imread('2.jpg'); im3 = imread('3.jpg'); im4 = imread('4.jpg'); im1gray = im2double(
最大对比度法自聚焦
FPGA/MATLAB学习教程/源码/项目合作开发
12-13 4213
图像对比度是描述图像中亮度变化程度的指标。%-----------------------------------最大对比度法自聚焦-----------------------------------%%--------------------------------进行方位压缩，选取参考信号-------------------------------%%----------------------------最大对比度法自聚焦-----------------------------------%
实现对比度检测自动对焦
最新发布
xuwentao1551的博客
02-29 559
请注意，以上代码是一个非常简化的示例，现实中的自动对焦算法会更复杂，可能包括更多的优化、错误处理和特殊情况的处理。此外，实际的对比度计算可能会使用更复杂的图像处理技术，如边缘检测算子（如Sobel算子）来计算图像的清晰度。函数则是遍历所有可能的焦距值，找到对比度最高的焦距，即认为是最清晰的焦点。函数计算给定图像的对比度，这里简化为计算相邻像素之间的亮度差异总和。函数负责从相机获取当前焦距下的图像数据，负责设置相机的焦距。
爬山搜索法c语言代码,搜索算法--爬山法 （代码示例）
weixin_29260291的博客
05-23 556
以航班为例，从出发城市到目标城市区域内各段最远的航班//1.程序入口static void Main(string[] args){Test.SampleOne sample = new Test.SampleOne();sample.Start(1, “北京”, “深圳”);}//2.实现方法using System;using System.Collections.Generic;namesp...
摄像头自动曝光，自动对焦，自动白平衡，ISP，图像处理及色彩模型，色彩空间
Hali_Botebie的博客
03-30 9056
文章目录2.1 AE(Auto Exposure)自动曝光2.2 AF(Auto Focus) 自动对焦2.3 AWB(Auto White Balance) 自动白平衡2.4 ISP(Image Signal Process)3. 色彩模型3.3 色彩空间4. 图像格式及转换4.2 RGB,YUV颜色编码常见的基于 YUV 4:2:2 采样的格式如下表：常见的基于 YUV 4:2:0 采样的格式如下表：4.5.1 基于YUV 4:2:2采样的格式 参考链接： 1.凹凸思 https://www.zhihu
一篇转载（感谢原作者）
woshiligena的博客
12-17 970
Bayer AF是高通最近的平台引入的一个功能，是将AF的fv统计放在Bayer域来做（之前是在YUV域做统计），避免ISP（尤其是降噪模块）影响图像的对比度信息。MSM8996/MSM8952/MSM8976/MSM8956/MSM8953/MSM8937以及之后的平台，都已支持。 The BAF stats engine consists of two parts: BAF统计引擎包含两个部分： Preprocessing on the image (Y-conversi
【华为大咖分享】1.云上开发，代码托管只是第一步（后附PPT下载地址）
华为云官方博客
03-12 2219
文：华为云DevCloud 杨善勃 PPT下载请访问原文地址：http://t.cn/EMaHAvv 华为云DevCloud作为一站式云端DevOps平台，集成华为近30年研发实践和前沿理念，面向开发者提供研发工具服务，让软件开发简单高效。现支持5人以下额度范围内，可以免费使用，并且可以预约免费的产品演示和技术交流，详情查看华...
Android MTK Camera博客分享
Android驱动开发
10-23 894
MTK Camera博客分享 MTK Camera OTP调用过程 MTK Camera Flashlight调用过程 MTK Camera 应用层到底层过程 MTK Camera HAL层分析 深入浅出Android相机体系结构 摄像头模组的基础知识 Linux Device Driver 专业名称 FV: Focus Value：用来衡量图像AF的清晰度。 DOF: Deep Of Field：景深，表示物距清晰的范围，景深越长表示物距前后清晰的范围越大。 AF step ：阶数越多，其精度越高，但是
AF pdaf tuning ＜1＞
h_8410435的博客
04-08 2890
1.PDAF 驱动功能验证 1.1 pdaf log 设置 log 设置,打开AF（8），State（2），Sensor（2） 的log CT30P:/ # cat /vendor/etc/camera/camxoverridesettings.txt overrideLogLevels=0x3F logWarningMask=0x08000202 logInfoMask=0x08000202 logVerboseMask=0x08000202 enable3ADebugData=TRUE dumpSens
[Camera]摄像头图像处理及色彩模型
Letcos
01-31 6193
参考链接： 1.凹凸思 https://www.zhihu.com/people/jiao-tao-52 2.纸上浅谈 https://glumes.com/post/ffmpeg/understand-yuv-format/ 1.名词解释 光通量(Φ):指人眼所能感觉到的辐射功率，它等于单位时间内某一波段的辐射能量和该波段的相对视见率的乘积。单位：流明。 发光强度(光强):在给定方向上（该方...
二、vue自定义指令
光明小学王小雨的博客
10-30 280
参考教女朋友学习 vue中的指令及其自定义指令 在 Vue2.0 中，代码复用和抽象的主要形式是组件。然而，有的情况下，开发人员仍然需要对普通 DOM 元素进行底层操作，这时候就会用到自定义指令。 示例一、 注册一个 v-focus 指令，实现了在页面加载完成之后自动让输入框获取到焦点的小功能。 {% load static %} <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"&gt
基于图像的被动式相机自动对焦小结(附搜索合焦位置的c++代码）
u014230360的博客
08-11 3719
自动对焦功能在当下已经成为了相机的必备功能。实现自动对焦可以通过主动或被动感知的方法。在主动式感知中，摄像机发出的单束/多束红外光或超声波信号被成像物体反射，物体到摄像机的距离是通过三角测量或者信号返回到摄像机所需要的时间来确定的。然后，根据物体到相机的距离，从一个查找表中设置焦距。主动传感的优势在于它能够在不同的光照条件下聚焦，特别是在暗光条件下。然而，在通过窗户或玻璃进行聚焦时，由于较高的红外或超声反射率，这种感知机制会遇到一定的困难。此外，聚焦区域仅限于相机上的光源或声源所指向的位置也是其另一短板。
Android面试题-Android消息机制
xingfuyisheng的专栏
11-09 3197
手机聚焦过程 手机常用的聚焦方式有连续自动聚焦(CAF，ContinuousAuto Focus)和自动聚焦(也叫触摸聚焦，AF，Auto Focus)。在CAF方式下，一次聚焦成功后，由于场景变化(物象距离变化、光线变化、被摄景象变化等)而失焦，在重新计算焦距的过程中，不能清晰成像。只有再次聚焦成功后才可以清晰成像。而CAF模式不停在聚焦过程中和聚焦成功后转换，因此抓拍照片也很容易不够清晰。同样...
AF 对焦分析
u012248972的专栏
10-19 1506
开启调试开关： adb shell setprop debug.af.enable 1 adb shell setprop debug.af_mgr.enable 1 adb shell setprop debug.pd.enable 1 adb shell setprop debug.af.log.enable 1 从目前的log来看，对焦成功时，AE达到stable： 31
相机变焦与对焦方法及原理
qq_42261630的博客
09-02 8587
变焦和对焦是camera工作中重要的一部分，对于其工作原理的理解是重要且必要的
3A统计
TimeRiverForever的博客
04-22 913
概述 3A即自动对焦（AF）、自动曝光（AE）和自动白平衡（AWB）。自动曝光控制能够自动调节图像的明暗度，自动对焦控制能够自动调节图像的焦距，自动白平衡能够使画面在不同光线照射下的色差得到补偿，从而呈现较高画质的图像信息。 基本概念 （1）曝光（Exposure） 曝光控制图像的亮度，主要影响因素有三个：光圈、快门速度和感光度。 光圈：控制进光量。光圈开大，金光孔径开大，进入相机的管线就越多，曝光量越多，画面越亮；光圈缩小，进光孔径缩小，进入相机的光线就越少，曝光量越少，画面越暗 快门速度：控制曝光时间
[笔记分享] [Camera] MTK Camera AF及tuning
Kris Fei's blog
08-13 6251
基本概念：FV: Focus Value, 用来衡量图像AF的清晰度。 DOF: Deep Of Field, 景深，表示物距清晰的范围，景深越长表示物距前后清晰的范围越大。 抛物线的顶点即是AF最清晰的地方。AF search table原理：利用DOF概念，控制AF search table中每个step的间隔要小于DOF，确保找到的Focus Position和最佳的Focus Po
caf文件如何转换为mp3
04-28
可以使用多种方法将CAF文件转换为MP3文件，常见的方法有以下几种： 1. 使用音频转换器软件。例如，可使用FFmpeg，将CAF文件转换为MP3文件。在命令行中输入以下内容：ffmpeg -i input.caf -acodec libmp3lame -ab 192k output.mp3。 2. 使用在线转换工具。例如，可使用Zamzar，上传CAF文件，并选择将其转换为MP3格式。 3. 使用音频编辑软件。例如，可使用Audacity，打开CAF文件，并将其导出为MP3文件。 注意，在进行文件格式转换时，应该遵循相关版权法律法规。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值