CDAF / PDAF 原理 | PDAF CDAF LAAF 对比 | 图像清晰度评价指标

注:本文为 “CDAF / PDAF 原理 | PDAF、CDAF 和 LAAF 对比 | 图像清晰度评价指标” 相关文章合辑。

文章中部分超链接异常、图片清晰度限于引文原状。

如有内容异常,请看原文。


相机自动对焦原理

TriumphRay 于 2020-01-16 18:59:41 发布

凸透镜成像原理

在这里插入图片描述

这一部分大家中学应该就学过了,简要总结一下:

物体距离凸透镜 < 2 倍焦距,成放大虚像,比如放大镜;

物体距离凸透镜 = 2 倍焦距,成等大倒立实像,成像在 2 倍焦距处;

物体距离凸透镜 > 2 倍焦距,成缩小倒立实像,成像在 1 倍焦距和 2 倍焦距之间;

为什么需要对焦

重点就在于物体距离凸透镜 > 2 倍焦距,成缩小倒立实像,成像在 1 倍焦距和 2 倍焦距之间;

对于相机来说,透镜的焦距也就是三四十毫米,手机摄像头焦距更短,只有几毫米,所以被拍摄的物体基本上都是在 2 倍焦距以外的,也就说会成缩小倒立实像,成像面在 1 倍焦距与 2 倍焦距之间,问题是,具体在哪里?

对焦需要解决的就是在哪个位置成像最清晰的问题,很明显,物体距离凸透镜距离不同其成像最清晰的位置也不同,不需要对焦的镜头必然有一个默认取景距离,比如电脑摄像头,手机前置镜头,他们的默认取景距离大概是 40cm,因此只要事先调整好就行,它们不是不用对焦,而是已经对好焦了。

对焦的方法

中学物理课堂上有一个实验,就是透镜成像实验,其中有一个问题是蜡烛的成像在哪里最清晰?大家应该都还记得一个公式:

1 u + 1 v = 1 f \displaystyle \frac{1}{u} + \frac{1}{v} = \frac{1}{f} u1+v1=f1(相距 v v v,物距 u u u,焦距 f f f

相距 v,物距 u 分别是成像到透镜和物体到透镜的距离,f 是焦距,物体和成像之间是满足这样一个关系的,因此要想得到蜡烛最清晰的像只需要知道蜡烛到透镜的距离和透镜的焦距即可。

其实这正是主动式对焦的原理,只要有精确的测距工具,对焦是很简单的。

如果没有办法知道这个距离呢?

在上述物理实验中,在讲解公式之前是有一个探索实验的,实验采用的方法就是在 1 倍焦距和 2 倍焦距之间移动光屏,观察到最清晰的像之后就停止移动,这就是穷举法的一个应用,既然像距在固定的范围之内,那么通过这种方法是一定可以找到这个位置,实现对焦。

主动对焦和被动对焦

有公式在手,只要给相机安个测距仪就好了,测距仪的精度越高对焦就越准,成像就越清晰,在这种想法的驱动下,主动式对焦就应运而生了,在大部分不计代价的领域,主动式对焦是很受欢迎的方法。

但是在很多地方,尤其是民用市场,想要给相机按上一个高精度测距仪,代价无疑是很高的,有没有其他办法实现对焦?很明显,就是刚才提到的物理实验所采用的的探索法,让改变镜头与 CMOS 之间的距离,总能找到成像的最佳位置。

在这种想法的作用下,被动式对焦就应运而生了,主要是以额外硬件为代价的相位法和基于软件的对比度法。

相位法

相位法是直接通过硬件计算出当前成像的位置是在真正相平面哪一侧的方法,如图所示:

在这里插入图片描述

这个图里面最让人困惑的就是这个波峰图是怎么产生的,很多说法是说光线到达检测器的时间不同,然后可以通过光的相位判断是往前移动成像面还是往后移动成像面(等效做法是移动镜头),但是检测光的相位这么 NB 的功能单反不大可能有,因此我认为这个波峰其实是物体上特定点的反光或者发光经过透镜之后位于光轴上半部的光线汇聚到下部的线传感器(Line sensor),位于光轴下方的光线则汇聚到上部的线性传感器,而具体设计中可能会有分光机构,这个图只是原理图,但是足够说明问题。

现在,重点来了,为什么最后面这个传感器叫线传感器(Line sensor),而不能翻译成线性传感器(Linear sensor),这个名字应该是指的传感器的形状:

在这里插入图片描述

最终的光线应该是宽度很有限的 “光线束”,在接收到光线之后,线传感器的各个 pixel 会产生不同的电信号,光线束的中心产生最强的电信号,越远离中心光线强度越弱,对应的电信号越弱,就会有类似下面的结果:

在这里插入图片描述

电信号的值从中间到两边衰减,于是就形成了一条钟形曲线:

在这里插入图片描述

由于两个传感器接收到分别是光轴上方和光轴下方的光线,曲线的波峰在最中间说明对焦成功,CMOS 的位置没有偏前也没有偏后;

否则,也可以很容易知道成像面在当前 CMOS 的前方还是后方:

波峰往中间偏,说明 CMOS 在成像面后方;

波峰往两边偏,说明 CMOS 在成像面前方;

根据偏的距离,也能计算出 CMOS 或者镜头需要移动的距离;

个人觉得这个方法唯一跟 “相位” 这个词沾边的可能就是线传感器输出的信号形状了:

在这里插入图片描述

而且实际上,只需要一个线传感器就能知道如何移动 CMOS 或者镜头了。

至于后来又产生了很多变形的专利,主要是把线传感器放在 CMOS 上以降低系统复杂度,原理仍然不变,只不过多了遮光机构,模拟光轴上部和光轴下部:

在这里插入图片描述

当然万变不离其宗,最终的计算方法都是一样的。

对比度法

这种方法很多地方都叫做反差法,但是通过研究其原理,我认为还是叫对比度法比较准确。原理可以通过下面的动图描述:

img

这张动图最关键的地方就是上面的注释,可惜注释是匈牙利文,这个语种我想绝大多数人是看不懂的,因此我不辞辛苦给全翻译了一遍,配上注释就容易理解多了:

匈牙利语 英语 中文
a képérzékelő felülete Image Sensor Surface 图像传感器表面
AF Auto Focus 自动对焦
terület Area 区域
vizsgált pixelek Test Pixels 测试像素
világosság Light, Brightness 光线,亮度
kontraszat Contrast 对比度
lencsék poziciőja Lens Position 镜片位置
kihuzat nagysága Projection Size 投影大小
a kontraszt mérése Contrast Measurement 对比度测量
nővekvő kontraszt Increasing Contrast 对比增强
csőkkenő kontraszt Decreasing Contrast 对比模糊
lencse-mozgatás megállitva Lens Movement Stopped 镜头移动停止
maximum megállapitása Setting the Maximum 设定最大值
maximális kontraszt megállapitva Setting the Maximum Contrast 设置最大对比度
lencsék vissza Lens Reverse 镜头反向
a rendszer élesre állt The System Stopped 系统停止

这下应该不用多解释了,如果还是不明白,那我就简单说明一下:

它实际上是选的一行像素,统计各像素亮度,并计算最亮和最暗的差值作为对比度保存;

尝试往一个方向移动镜片(或者 CMOS),如果差值变小则说明方向错误,需要反向移动;

反之继续移动,直到差值经过某个值之后开始变小,说明该值即对比度最大值;

镜片(或者 CMOS)反向移动到对比对最大的位置,结束;

是不是很简单?之所以在研究这个问题的时候越看越迷糊,我觉得最大的问题就是很多文章作者可能也没搞明白具体的原理,就是人云亦云,单纯的复制粘贴,结果怎么看都是一头雾水,希望我这篇文章能给大家解惑。

关于手机自动对焦摄像头

手机所采用的方式实际上基本都是被动式,除了运动机构不同(手机多数是把摄像头锁进音圈马达内,音圈马达实际上是一种磁性运动机构,通过给线圈加电流使摄像头在一定范围内运动,其行程只有几个毫米,可能不超过 3 毫米,在摄像头自动对焦时如果你贴近镜头仔细听能听到镜头运动的细微声音),以及镜头焦距不变之外原理都一样,以前比较多的是对比度差值法,现在也有把相位法元件直接放在 CMOS 上的方案了。

关于变焦镜头

变焦镜头跟对焦是两个概念,对焦是在某个焦距下使图像清晰的操作流程,变焦镜头是指透镜本身焦距改变,由于透镜做好之后焦距就固定了,因此要实现镜头的变焦,用一块透镜是不行的,需要用到透镜组,通过调节各透镜之间的距离改变镜头的焦距,从而实现变焦。

PS:前一节说手机摄像头镜头焦距不变,现在似乎也有利用透镜组实现光学变焦的手机镜头了。

参考文献:


PDAF 原理简介

Z1Tester 已于 2022-08-29 16:44:39 修改

1.PDAF 原理

原理:是在感光芯片上预留出一些规律性对称的遮蔽像素点,专门用来进行相位检测,通过像素之间的距离及变化来决定对焦的偏移量即相位差(PD 值)从而实现快速对焦。

1.1PDAF 系统框图

PDAF 系统框图

1.2 PDAF 分类

1.2.1 单 PD (shieled pixel)

屏蔽掉像素一般的感光区域(黑色部分),值获得一半信号。需要另外的像素屏蔽掉另一半 信号,得到完整的相位差信息。SP 越多,对焦越快,但信号损失越严重,目前 SP 密度控制在 1%~3%。

屏蔽掉像素一般的感光区域(黑色部分),值获得一半信号。需要另外的像素屏蔽掉另一半 信号,得到完整的相位差信息。SP 越多,对焦越快,但信号损失越严重,目前 SP 密度控制在 1%~3%。

在这里插入图片描述

在这里插入图片描述

1.2.2 双 PD (Dual Pixel)

将同一个像素底部的感光区域(即 光电二极管)一分为二,在同一个像素内即可完成相位信 息捕获。dual PD 也有叫 2PD、全像素双核对焦,这种像素覆盖率 100%,所以对焦体验最佳。但由于将光电二极管一分为二,井口变小,FWC 急剧衰减,dynamicrange 衰减严重,拍照 非常容易过曝。三星凭借优秀的 ISP 和调试能力过曝控制的还可以,但金立 M2017 驾驭能力就稍弱了。但单从对焦来说,dual PD>2*1PD>shield pixel,这种优势尤其体现在暗环境下对焦的稳定性上,比如 10lux/5lux/1lux 这些极暗环境下的对焦。

使用两个光电二极管(即两个检测点)

把两个光电二极管放在一个像素井内(即成对出现 )分别读取两个二极管内的信息(即每个只取一半)也就是说之前需要两个像素并且各遮一半才能组成一组对焦点,现在不需要了,对光线利用率也很高。对焦时开一个二极管,成像时两个二极管拼起来同时使用。使用这种方法能彻底解决掩蔽式相位对焦 “挖像素” 带来的掉画质问题,并且理论上可以做到所有像素都能参与对焦

优点:暗光对焦能力非常强悍 不需要额外相位对焦像素 画质表现接近反差对焦传感器 而且可以生成深度图供景深处理,是目前手机上较为理想的解决方案

缺点:全像素采样视频模式下不能相位对焦

1.2.3 简单分析三种 PDAF 技术

1.shield pixel

屏蔽掉像素一般的感光区域(黑色部分),值获得一半信号。需要另外的像素屏蔽掉另一半 信号,得到完整的相位差信息。 SP 越多,对焦越快,但信号损失越严重,目前 SP 密度控制在 1%~3%。

2.super PD

将相邻的像素共用一个 on chip microlens 得到相位差信息,一般在 Green 上处理。 同样的,二合一的 PD 越多,对焦越快,但信号损失越严重,目前密度也控制在 1%~3%

3.dual PD

将同一个像素底部的感光区域(即光电二极管)一分为二,在同一个像素内即可完成相位信 息捕获。dual PD 也有叫 2PD、全像素双核对焦,这种像素覆盖率 100%,所以对焦体验最佳。但由于将光电二极管一分为二,井口变小,FWC 急剧衰减,dynamic> range 衰减严重,拍照 非常容易过曝。
但单从对焦来说,dual PD>2*1 PD>shield> pixel,这种优势尤其体现在暗环境下对焦的稳定性上,比如 10lux/5lux/1lux 这些极暗环境下的对焦。另外,即使是同一种 PDAF,受 microlens 的设计、像素大小、用于 PD 的 color filter、sensitivity、Fab 制程等因素影响,各家的效果还是不一样。

2. 高通 PDAF 校准流程

2.1 gain map 介绍

由于 shiled pixel 一半被遮盖住,感光面积只有正常 pixel 感光能力的一半,所以感光能力要比正常的 pixel 感光能力弱,gainmap 就是对遮蔽 pixel 做感光能力的补偿

在这里插入图片描述

2.1.2 gain map 校准流程

  1. 将马达推到远近焦中间位置

  2. 下寄存器打开 PD 点

  3. 自动 AE 到指定的曝光值

  4. 取一张 raw10 图片

  5. 调用高通的 DLL 计算出应该补偿的数值

  6. 把增益写入 OTP

有些 Sensor 的 PD Pixel 都是 G Pixel,有的是 R、B Pixel,有的是 B、G Pixel,故不同芯片的数据左右差异大小不同。

2.2 PDAF DCC

相位视差和镜头运动之间的转换用离焦转换系数 (DCC) 表示,其单位为 dac/pixel。

在这里插入图片描述

DCC 为一个无符号量,以正值的形式存储在 eeprom 中。如果 PDAF 校准工具输出的 DCC 的值为一个负值,则会返回一个错误代码,表示校准结果无效。在 sensor 配置中,左右 PD 点配置错误可能会导致这种情况。

在这里插入图片描述

像素的视差以像素为单位表示,计算得到的位移量是一个相对值,表示镜头需要移动多少距离,而不是表示镜头当前所在的位置,PD 值有正负之分,PD 值决定马达的位移方向,当 PD 值等于 0 时,图像是最清晰的

2.3 DCC Calibration

2.3.1 校准 chart

DCC 校整可以使用菱形 chart 或者条形 chart 进行测试

线条 chart , 和菱形 chart 相比,条形 chart 可以获得更均匀的相位差数据,DCC 校准 Chart 是校准 DLL 所需要输入的工具之一,对于垂直放置 PD 点的 sensor,推荐使用水平的线条测试 Chart

2.3.2 测试距离

DCC 校准推荐的相机模组到测试 chart 的推荐距离位置在 AF_cal_inf 到 af_cal_near 中间的位置,大多数摄像头模组设计的测试距离在 20cm 到 30cm, 在使用长焦镜头的 camera 模组中,这个测试距离有可能会达到 2m

camera 视场角覆盖测试图活动区域的 85%-95%,如下图所示。

在这里插入图片描述

正确使用测试 chart,避免 DCC 校准过程中的系统误差,从而导致 PDAF 性能 问题。测试图尺寸不合适,测试图旋转 / 或倾斜,以及过度曝光导致常见的 DCC 校准错误。下图显示了正确使用测试图的例子,以及常见的测试图问题。

在这里插入图片描述

2.3.3 DCC 校准过程

Lens 从远焦移动到近焦总共移动 9 步,在镜头移动过程中,会获取十张图片,从这十张图片中获取十个相位差的值和 10 个焦距值,用这些数据进行线性回归,得到 DCC 值,图像被划分为 6X8 个区域,从而形成 6X8DCCmap, 如下图所示:

在这里插入图片描述

2.3.4 校准流程:

  1. 打开 PD 点

  2. 马达推到远近焦中间位置

  3. AE 曝光

  4. 获取 Gain map 数据

  5. 从远焦到近焦取十张图片

  6. PDAF 第二步计算 DCC


反差检测自动对焦(CDAF)与相位检测自动对焦(PDAF)原理

Mr.Idleman 已于 2023-05-24 16:45:24 修改

PDAF(相位检测自动对焦)原理

了解 PDAF,首先需要了解当今数码相机的工作原理,这里以单反为例进行介绍:

数码单反相机(DSLR)的工作原理

DSLR (Digital Single-Lens Reflex Camera)数码单镜头反光相机,也就是我们常称的单反相机。属于 数码静态相机(Digital Still Camera,DSC)与 单反相机(SLR)的交集。

单反相机与其它数码相机的主要区别是反射设计方案。在单反相机中,光线穿过镜头,然后传到镜子,该镜交替将图像发送到取景器或图像传感器。DSLR 相机使用光学取景器,通过透过视觉反射器观察被拍摄物体,用户可以更好地预测最终照片的成像效果。这种取景方式比其他类型的相机使用的电子取景器或屏幕取景器更加准确和可靠,通过使用一个镜头,DSLR 的取景器显示的图像与相机传感器捕获的图像没有显著差异。光学取景器的使用也意味着用户可以通过镜头看到物体的真实大小和形状,从而更容易地调整拍摄位置和角度。其内部结构如下图所示:

How-Phase-Detection-Autofocus-Works

摄影师可以在拍摄图像前通过镜子看到被摄体。 拍摄图像时,反射镜会向上摆动,光线会转到感光元件。各部分分别为:

  1. 光线

  2. 主镜 / 反光镜

  3. 副镜

  4. 焦平面快门和感光元件

  5. 用于调整主镜的偏心销(1.5mm 六角)

  6. 用于调整副镜的偏心销(1.5mm 六角)

  7. 相位检测传感器(自动对焦传感器)

  8. [五棱镜](https://zh.wikipedia.org/wiki/ 五稜鏡)/五面镜

  9. [取景器](https://zh.wikipedia.org/wiki/ 取景器)

DSLR-Cross-Section
传统结构上,单反相机上有一小块磨砂玻璃(现在一般使用光学塑料)5,叫对焦屏。它位于单反相机的反光镜上方,显示焦平面的图像,是单反类型照相机的独有零件。

对焦屏在光路中截断了光线,因为反射和散射减少了亮度,但它存在的意义主要不是取景,而是对焦。在与光电传感器近似等距离的位置,磨砂屏上的成像与传感器上的成像基本一致。包括画面构图、焦点、景深等,如果没有这个对焦屏,取景窗内仍然可以看到镜头传送的画面,而由于人眼的自动对焦,使画面始终清晰,无法判断照相机感光传感器的清晰程度。

磨砂屏会起到这个效果,是因为浴帘效应。大众经常听到的 “浴帘效应” 是物理学上的,浴室里淋浴时,悬挂的浴帘总会向内卷起,甚至贴到人身上。在光学上还有另外一个 “浴帘效应”。

学术上会有很复杂的研究,简而言之,就是**磨砂幕越靠近物体,透光越明显。**这才是磨砂屏本身的成像原理。

在对焦屏这个位置上对焦,对于没有自动对焦的传统单反具有重要的意义,因此厂商开发了磨砂屏、精细磨砂屏、微棱屏、裂像屏、双裂像屏,还有磨砂、微棱、裂像复合屏等。更有复合了菲涅耳透镜的对焦屏。成为单反相机独有而不可或缺的组成部分。

另外,随着时代发展,现在无反相机也逐渐占据了一席之地,可以更换镜头的无反相机就是我们常叫的微单相机。单反相机和无反相机的区别在于机身构造和大小,无反相机取消了反光镜和光学取景器,采用电子取景器,机身更轻便紧凑,更适合爱好者和旅行摄影师。除此之外,在感光元件规格相近、镜头素质相当的情况下,无反相机和单反相机在画质表现方面并没有显著差别。

反差检测自动对焦(CDAF)

CDAF 对焦原理

说到自动对焦,首先需要介绍的是经典的反差检测自动对焦,也叫对比度检测自动对焦,英文 Contrast Detection Auto Focus。因为对比度对视觉效果非常关键,反差对焦被广泛应用于传统的摄像系统中。它通过对比镜头传感器传来的对比度反差来进行对焦。

我们知道,一般来说,对比度越大,图像越清晰醒目,色彩也越鲜明艳丽。当镜头逐渐合焦时,传感器得到的相邻像素间的对比度会越来越高,图像也就会越来越清晰。所以当我们找到整个图片对比度最高的时候,镜头所处的位置也就找到了准确的对焦点。这一过程如下图所示:

1457942311-2017956703

在对焦调节范围内,每一个调焦位置都会对应一个锐度值,也就是聚焦值。这些聚焦值形成一曲线,通常称为聚焦曲线。锐度值通过锐度评价 函数 计算获得,锐度评价函数有时也称为聚焦函数。一个良好的锐度评价函数对应的聚焦曲线应该是一个如图所示的单峰曲线,并且曲线峰值对应的调焦位置即为准确聚焦的位置。

image-20230331154759622

CDAF 实现过程

CDAF 的流程如下图所示。当 CDAF 触发后,系统对当前的实际图像进行聚焦值计算,并结合前面的聚焦值数据综合判别当前聚焦值是否是聚焦曲线峰值。如果判定是聚焦峰值,则聚焦结束;否则,结合相关信息确定下一步调焦的移动方向和大小,驱动调焦步进电动机作相应的移动,对新的图像再次进行同样的步骤以此形成一个反馈控制环路。由此可见,对比度检测聚焦的关键因素有两点:① 锐度评价函数:② 峰值判定和搜索策略

image-20230331154933053

相位检测自动对焦(PDAF)

PDAF 对焦原理

相位检测自动对焦,英文 Phase Detection Auto Focus。该系统的工作原理与测距仪相机类似。从副镜反射回来的光被 2 个或多个上面带有微透镜的小型图像传感器(取决于自动对焦系统有多少个焦点)接收。如上图 7 所示,对于每个焦点,有两个位于两侧的相位差传感器,两个单独的光束经过反射到达两个单独的传感器。

事实上,现代相位检测设备上的传感器数量远不止两个,而且这些传感器彼此非常靠近。**当光线到达这两个传感器时,如果物体处于对焦状态,则来自镜头最两侧的光线会聚在每个传感器的中心(就像它们在图像传感器上一样)。**两个传感器上都会有相同的图像,表明该物体确实处于完美对焦状态。如果物体没有聚焦,光线将不再会聚,并且会照射到传感器的不同侧面,如下图所示(图片由维基百科提供):

Phase-Detection-Autofocus

图 1 至 4 表示镜头聚焦的情况分别为: (1) 太近,(2) 正确,(3) 太远,(4) 太远。从图中可以看出,两个曲线之间的相位差不仅可以用来确定在焦平面的哪个方向上,还可以用来确定改变焦点的程度,以实现最佳聚焦。但有一点需要注意,这只是检测传感器,实际上最终移动对焦的是镜头而不是传感器。

下面图片也显示了相位差产生过程:(a) 现实世界中的一个物体;(b) 配置了适当遮罩的左侧(上)和右侧(下)的相位传感器;© 获取到的左侧(上)和右侧(下)相位图像。

image-20230331122208346

PDAF 实现过程

由于 PDAF 系统知道一个物体是前聚焦还是后聚焦,它可以向相机镜头发送准确的运动指令,说明以何种方式转动焦点以及转动多少。以下是当相机获得对主体进行对焦(闭环自动对焦操作)的命令时会发生的情况:

相位检测自动对焦(PDAF)系统工作流程

开始检测
PDAF 检测系统评估两侧光线相位差
基于相位差,PDAF 确定当前离焦状态及程度
PDAF 指示镜头调整其焦点
是否实现相位差为 0?
完成对焦, PDAF 发送提示确认物体已对焦
如取景器内的绿点, 蜂鸣声等

PDAF 系统通过闭环在很短的时间内操作快速实现对焦,与依赖于大量图像数据的 CDAF(CDAF 由于依赖来回改变焦点直到达到焦点,需要基于大量图像数据进行分析) 系统相比,PDAF 的速度更快。

目前比较流行的是片上相差自动对焦(on chip phase detection autofocus),在生产 sensor 的时候,把某些用于相位检测像素遮住左边一半或者右边一半,如下图:

focus_pixel_array

上图只是示意图,各个厂商的半掩模的工艺各有不同,在对 IR filter 或者 microlens 的处理上也不相同,但是基本的原理都是让图像形成左右两幅类似人眼的不同光学通路的图像。这样左右侧的相位检测像素就会产生这样的图像:

Phase diff in focus pixels

目前主要工艺

目前 PDAF 的生产处理方式主要有三种,分别是:

  • shield pixel

  • 2*1 PD

  • dual PD

img

  1. shield pixel

    屏蔽掉像素一般的感光区域(黑色部分),只获得一半信号。需要另外的像素屏蔽掉另一半信号,得到完整的相位差信息。SP 越多,对焦越快,但信号损失越严重,目前 SP 密度控制在 1%~3%。

  2. super PD

    将相邻的像素共用一个 on chip microlens 得到相位差信息,一般在 Green 上处理。同样的,二合一的 PD 越多,对焦越快,但信号损失越严重,目前密度也控制在 1%~3%

  3. dual PD

    将同一个像素底部的感光区域(即光电二极管)一分为二,在同一个像素内即可完成相位信 息捕获。dual PD 也有叫 2PD、全像素双核对焦,这种像素覆盖率 100%,所以对焦体验最佳。但由于将光电二极管一分为二,井口变小,FWC 急剧衰减,dynamic range 衰减严重,拍照非常容易过曝。

下面以 SP 为例再实际解释一下。(图一)为 Sony 感光元件有放置对焦使用像素示意图,CMOS 感光元件的相位像素会接收到左右不同的光波信息,进而判断出远近距离产生相位差,Sony 感光元件上的 “对焦点区域” 设计一排专用的对焦像素。像素是由 L、R 两组像素交错排列组成的。如果单看 L 和单看 R,可以将这条对焦像素视为两条独立的感应器,L 和 R 接收同来自一光源的光。

1457942316-3614489948

Sony 的做法是在对焦用像素上设计两层交错的光罩遮光(图二、三),让所有 L 像素只能接收到来自左边的光,R 像素只能接收到右边的光。这样一来,L 和 R 两组对焦像素就能接收同一光源不同方向的光。

如(图二)黄色光线所示,光罩遮住一半的入射光源,造成此相位像素仅能接收到左半边的光源信息。(图三)黄色光线因光罩遮住一半的入射光源,造成此相位像素仅能接收到右半边的光源信息。

1457942316-1760303650

1457942318-861452642

因此,CMOS 将两个感应器的信号进行比较,这两个成像间的距离就是所谓的 “相位差”。既然 “相位差” 与 “光源和焦点的距离” 有这层关系,便可参考当前的相位差来驱动对焦马达,使得对焦可以快速完成。

img

image-20230331143314095

其它对焦方式

激光对焦

相信大家一定听说过,在工业建筑和测绘领域,工人们都会使用激光技术来确定高度或水平距离。LGG3 首次将该 技术应用 在了手机对焦上,随后 2015 年,魅族将这项技术应用在了自家 MX5 上,使之成为了国内第一款应用激光辅助对焦的机型。

魅族 MX5 的激光对焦原理是:通过背面的微型发射器可以发射出低强度脉冲激光,然后通过相机左侧的红外传感器将反弹折射回来的信号进行回收,从而实现对焦的目的。

每个红外脉冲光束经过电子测量器多次反复计算反射时间,从而建立一个精确的范围。ISP 接收器可以计算出具体的物体或场景究竟有多远,同时锁定在最适合的焦点景深。而这一切看起来虽然复杂,但是实际上只发生在几分之一秒内,几乎感觉不到过程。根据魅族官方表示,MX5 的对焦时间只有 0.2 秒左右。

红外对焦

在最后说这项技术,是因为整个红外对焦技术只被联想的 VIBE SHOT 实际应用了,但是因为这项技术可实用型不高,并且故障频出,所以几乎没有厂商愿意跟进,最后只能放弃。基本上,Vibe Shot 的红外自动对焦可以说是魅族 MX5 激光对焦的另外一个版本,但这项技术让 Vibe Shot 比普通的自动对焦技术快上 2 倍。

总结

目前,PDAF 主要应用于高端数码相机和智能手机上。它通过将像素分为左、右两组,接收不同方向的光线信息,并通过比较两个成像之间的相位差来确定焦点位置。PDAF 的优点是快速对焦、适用于低光环境,但它需要特殊的 硬件 支持,且对镜头质量和设计有一定要求。

CDAF 则主要应用于入门级数码相机和相机模块化智能手机上。它通过计算成像中相邻像素之间的对比度来确定焦点位置。CDAF 的优点是适用于各种类型的镜头和成像情况,但它对光线和对比度的要求比较高,且在低光环境下对焦速度较慢。

事实上ÿ

<think>好的,我需要回答用户关于自适应激活函数在深度学习中应用和实现的问题。首先,我需要回顾自适应激活函数的基本概念,然后查找相关的引用资料来支持回答。 用户提供了四个引用,其中引用[2]提到了局部自适应激活函数(LAAF)的实现,基于TensorFlow和一篇论文。引用[4]提到了ReLTanh,另一个自适应激活函数,应用于故障诊断。引用[3]讨论了常见激活函数,包括GELU和ELU,但未直接涉及自适应部分。引用[1]提到了自适应激活函数提升收敛能力的实验结果。 首先,我需要解释什么是自适应激活函数。它们通常具有可学习的参数,允许网络根据数据调整激活函数的形状,从而提升模型的表达能力。根据引用[2],LAAF通过引入斜率恢复参数来优化物理信息神经网络。引用[4]中的ReLTanh通过改进梯度消失问题来提升诊断性能。 接下来是应用场景。引用[3]提到GELU适用于NLP、计算机视觉之外的其他领域,如语音识别,这可能也适用于自适应激活函数。引用[4]中的ReLTanh用于旋转机械故障诊断,说明在特定领域的应用优势。此外,引用[1]中的训练曲线显示自适应激活函数能提升收敛速度和效果,适用于需要高效训练的场景。 在实现方面,引用[2]给出了LAAF的TensorFlow示例,关键点包括定义可训练参数和修改前向传播。引用[4]可能涉及ReLTanh的具体结构,但用户未提供代码,可能需要参考论文。此外,需要强调参数初始化和梯度管理的重要性,避免训练不稳定。 最后,生成相关问题需要考虑用户可能感兴趣的方向,如与传统激活函数的对比、不同实现框架的差异、性能优化方法以及具体应用案例。 需要确保回答结构清晰,分点说明应用和实现,并正确引用资料。同时,检查LaTeX格式是否符合要求,数学表达式用$...$,独立公式用$$...$$,例如激活函数的公式可能需要单独成段。</think>### 自适应激活函数的应用与实现 #### 1. **自适应激活函数的核心思想** 自适应激活函数通过引入**可学习的参数**,允许神经网络根据输入数据或训练过程动态调整激活函数的形状(如斜率、曲率等),从而增强模型的表达能力。例如,局部自适应激活函数(LAAF)会在每个神经元中增加一个可训练的缩放因子$n$,使得激活函数形式变为$\sigma(n \cdot (wx + b))$[^2]。 #### 2. **主要应用场景** - **物理信息神经网络(PINN)**:通过自适应调整激活函数的斜率,提升微分方程求解的收敛速度和精度[^2]。 - **故障诊断与工业应用**:如ReLTanh通过自适应机制抵抗梯度消失,在旋转机械故障诊断中表现优异[^4]。 - **复杂模型优化**:在深度网络中替代传统激活函数(如ReLU、Tanh),缓解梯度消失/爆炸问题,提升训练稳定性[^1][^3]。 #### 3. **实现方法(以LAAF为例)** 基于TensorFlow的实现步骤如下[^2]: 1. **定义可训练参数**:为每个神经元或网络层添加缩放因子$n$。 2. **修改前向传播**:将输入信号与$n$相乘后再通过激活函数。 3. **损失函数设计**:在原始损失中加入对$n$的正则化项,避免参数过大。 4. **动态优化**:通过反向传播同时更新网络权重和参数$n$。 代码片段示例: ```python import tensorflow as tf class LAAF(tf.keras.layers.Layer): def __init__(self, activation=tf.nn.tanh): super(LAAF, self).__init__() self.activation = activation def build(self, input_shape): self.n = self.add_weight(name='slope', shape=(1,), initializer='ones', trainable=True) def call(self, inputs): return self.activation(self.n * inputs) ``` #### 4. **关键优势与挑战** - **优势**: - 提升模型对复杂数据分布的拟合能力。 - 在物理驱动模型中更好地适应微分方程约束[^2]。 - **挑战**: - 需谨慎初始化参数,避免训练初期不稳定。 - 可能增加计算开销,需权衡性能与效率。 #### 5. **与其他技术的结合** - **与残差结构结合**:将自适应激活函数嵌入残差块,缓解深层网络退化问题。 - **与注意力机制结合**:通过自适应参数动态调整特征重要性权重。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值