7p后摄像头抖动修复_智能手机多摄像头方案

现在的智能手机包括多个后置摄像头:一个高像素的主摄像头比如一亿像素,其具有超大面积感光元件COMS芯片,9in1像素技术融合出2.1μm 单大像素感光面积提升夜景拍照能力,超大光圈和7P镜头提升摄像头的进光亮,双原生光学防抖ISO提升拍照的效果;超广角镜头的FOV一般在120º左右,畸变校正后实现超广角拍照,一般畸变矫正系数小于13%,在Bokeh算法中的也可以做副摄像头用;超长焦镜头一般4800万像素,等效120mm焦段,可等效10倍光学变焦和最大120倍数字变焦,配合主摄像头一起做双OIS光学防抖实现更好效果的光学变焦;微距800万像素摄像头不与其他其他摄像头搭配使用,仅仅实现近距离拍照功能;200万像素人像景深镜头可以是彩色的也可以是黑白的,主要是配合主摄像头实现背景虚化(Bokeh)功能;借助3D景深摄像头深度恢复技术的后置TOF相机,可以获取到比原设备采集到的更为准确、更清晰的深度图,从而做到更为出色的3D景深背景虚化效果。

前置结构光/TOF深度摄像头的作用主要是用于做人脸识别中的深度信息的采集,从而实现算法中的活体检测,3D点云建模作用。

Bokeh:背景虚化

单摄、双摄、TOF深度相机的不同配置的智能手机,通过算法进行精准的图像主体对象进行分层分割可以实现现背景虚化。。

针对单摄智能手机,可以借助人体识别算法,可以在拍摄人像照片或者视频时实现模拟单反的大光圈效果实现背景虚化效果。

双摄智能手机,可以是主摄像头(一般大于46M)+2M或者5M彩色摄像头配置,或者是主摄像头(一般大于46M)+2M黑白镜头配置,亦或主摄像头(一般

大于46M)+广角镜头配置,可以通过两个摄像头获得图像信息,计算出视差,得出图像中的深度信息,从而可以实现背景虚化效果。一个简单的双目立体视觉系统原理图如下图所示。

d9d631b77b6f2c64acc4dbd286d6bb90.png

两个摄像头的中心的连线的距离为 b,也叫做基线,三维空间任意一点 P 在左相机的成像点为 PL,在右相机的成像点为PR。根据光的直线传播的原理可知,三维空间点 P 就是两个相机的投影中心点与成像点连线的交点。线段d

78a7575400ecc6541fc213e2dcf6b6a7.png

两个成像点PL和PR之间的距离为:

517d28542209c8f5825785c199108d8a.png

根据相似三角形理论可以得出:

0f25899a5686a9a32fdb57f18ed843fb.png

则可以得到点 P 到投影中心平面的距离Z

26b538559a96c79c6667888591d4caa5.png

当点 P 在三维空间上移动时,点 P 在左右相机上的成像位置也会改变,从而视差也会发生相应变化,由上式可知,视差与三维空间上的点到投影中心平面的距离成反比。因而,只要知道某点的视差,就可以知道该点的深度信息。

三维空间点 P 在相机的成像图如下图所示。由图可以看出,根据相似三角形原理, 有以下关系:

f0ec1552c089e6ecf8ddcdd69d34cfdf.png

124855d8a7d28db88a66177cf1d8f6b2.png

4a47cdcdd1ab31c2ae93fde78a933d3e.png

因此,当已知三维空间上任意一点的在不同图像上的视差,再根据相机的参数,就可以知道该点的三维坐标。

运用图像深度恢复技术可以获取到实时的、准确的、稳定的深度图,再结合肖像算法和图像虚化技术,可以在拍摄照片或者视频时即时更改焦点区域,产生出色的景深效果与前后景虚化体验。同时还支持实时(预览)和快照(拍照)模式。

模组组合

0a8ba7d0a034737435526913feca9497.png

模组设计要求

主摄

从摄

分辨率

大/小

色彩

彩色

彩色

视场角/焦距

基本一致: 副>主

模组距离

越大越好: 10mm~12mm

  TOF成像技术通过向目标发射连续的特定波长的红外光线脉冲,通过特定传感器接收待测物体传回的光信号,计算光线往返的飞行时间或相位差得到待测物体的3D深度信息。TOF相机的亮度图像和深度信息可以通过模型连接起来,迅速精准地完成人脸匹配和检测 。

fa01a096a855eaad82f8e717b35fc582.png

TOF的硬件组成有:

发光单元:发光单元通常为能发出特定波长红外线的VCSEL,VCSEL能以相对较小功率发射出较高的信号。

光学镜头及滤光片:用于收集反射回的光线。滤光片只允许对应波长的红外线通过,抑制其他光线,并降低噪声。

图像传感器:ToF相机的核心部件,接收反射回来的光线,负责测量每个像素点光线从发光元件到目标物体再反射回传感器的时间计数出深度信息。

TOF深度相机的手机借助3D景深摄像头深度恢复技术,可以获取到比原设备采集到的更为准确、更清晰的深度图,从而做到更为出色的3D景深虚化效果。

景深虚化解决方案支持低光、背光等复杂环境下的拍摄。为满足用户个性化的拍摄需求,针对虚化,能够提供更为个性化的梦幻光圈的创意效果。

还可以实现背景替换,特效等处理,如下图

9d920c75c4dcfbb7e97f83957a3b2e0e.png

ffc484900ab73a8c0e5d1be5188730a8.png

光学变焦

光学变焦是目前用户对于手机拍照功能的主要诉求点之一,不过由于镜头物理特性的限制,在单摄像头上实现光学变焦对于手机摄像头模组的厚度和整体外观设计带来巨大的挑战。

智能手机的广角+长焦多摄像头的组合方案被业界广泛接纳。利用广角和长焦多个摄像头的镜头物理特性,结合高级视频和图像融合算法,为用户提供流畅的、高质量的光学变焦体验。

算法方案不仅仅是让摄像头平滑自然地过渡到另一个摄像头,避免明显的“跳格”或“跳跃”,而且在拍摄的过程中,画面会根据广角和长焦摄像头捕捉同步的广角和长焦图像,融合为用户请求变焦倍数的高清图像。算法一般支持不同的变焦倍数(3 倍、5 倍以及更高),可为用户提供与更大尺寸相机相当的变焦质量和体验。

  在长焦摄像头中效果比较优质的是潜望式镜头摄像头,其最大的特色在于内变焦设计可以让手机不增加镜头模组体积的情况下,可以大幅度增加摄像头的焦距。获得10倍混合光学变焦功能。

6ef34db87a19df54bdb692d066b66b6d.png

35ab741648ad63a0a56206c3d0e6d558.png

相对于传统的“外变焦”镜头,潜望式镜头又称“内变焦”镜头,是指光学变焦是在机身内部完成。其设计原理是将长焦镜头横向排列,与广角镜头形成垂直布局,利用棱镜折射实现成像。通过潜望式设计,可以在保证手机的薄型外观的同时,大幅增加摄像头焦距,更好的实现光学变焦。

变焦示例

f44834e8670a6fda6f7964fbd878e198.png

广角

68de62e7a8c1284ebf8d8babe72a4182.png

长焦

93b674e470f5a2a934b0f2f269b7878e.png

融合后的照片

3298384afd9060f6a84027958499776d.png

  在各大SOC公司提出更高性能的CPU GPU NPU APU ISP芯片的加持下,品牌厂商,模组厂,算法公司对于多摄像头新功能的开发一定会有更广阔的发展前景。

声明:个人技术总结,部分信息来源于网络,如有侵权请联系删除。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值