显示硬件发展与视频开发系列(5)----智能时代02--硬件发展

6.2、硬件发展

       人工智能时代需要硬件的支持，不仅仅是外设，更是数据计算。在此需求下，不仅外设的繁荣，更是芯片技术的爆发。

       芯片技术为智能处理提供了基础，在数据阶段处理，为CPU、GPU提供物理计算基础，在此基础上，有了并行计算架构。无论云平台、大数据、机器学习、区块链无一不是建立在并行计算的基础上。

       60年代，中国挥剑斩芯片，丧失发展先机。今天，倾国之力，十万亿级投资，发展芯片，留给我们多少启示。

       下面通过芯片、相机传感器硬件角度讲述，其它层面参考相关资料。智能时代的机器视觉视频来自于相机，考虑了相机因素。

6.2.1、AI/AR/VR芯片

       人工智能首先是硬件技术的进步，硬件技术的核心是芯片。芯片技术是集成电路的高度封装。芯片技术是半导体技术的体现，整个生产过程与产业链较长，需要多家公司合作才能完成。

       顶级科技公司钟情于芯片研发，包括AI/AR/VR芯片研发。微软、特斯拉、英伟达、facebook、谷歌、NXP、华为等。人工智能时代的到来，芯片的多样性与功能性都有很大变化。技术的风起云涌，为芯片制造提供了契机。

       人工智能时代，AI/AR/VR芯片快速发展，为人工智能提供澎湃动力支持。芯片技术是人工智能后续阶段的关键技术，没有芯片技术的进步，人工智能将会举步不前。

6.2.2、相机芯片

       相机，记录着社会文明。相机，留存着社会点滴。相机，助力着生产生活。相机，是机器视觉第一步的表达。

       整个视频处理流程，相机是前端，机器视觉部分处理在前端实现。学习机器视觉，有必要对相机简单了解。

              对于工业视频而言，相机是重中之重，相机技术有很多分类。本部分通过传统相机和工业相机进行讲述。

6.2.2.1、传统相机

       相机技术发展多年，主要是图像传感器的发展，目前分为CCD和CMOS两种。

6.2.2.1.1、CCD

       CCD芯片是将光信号转换成电信号的芯片，在数码相机、摄像机中，光信号转换成电信号，然后处理，编程数码照片文件。

       CCD芯片，使用高感光度的半导体材料制成，把光线转变成电荷，通过模数转换器芯片转换成数字信号，数字信号经过压缩后由相机内部的存储设备保存，然后把数据传输给计算机，借助于计算机的处理手段，根据需要和想像来修改图像。

       CCD芯片由感光单位组成，通常以百万像素为单位。CCD表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，构成了一幅完整的画面。

       CCD图像传感器是按一定规律排列的mos（金属—氧化物—半导体）电容器组成的阵列，在p型或n型硅衬底上生长一层很薄（约120nm）的二氧化硅，再在二氧化硅薄层上依次序沉积金属或掺杂多晶硅电极（栅极），形成规则的mos电容器阵列，再加上两端的输入及输出二极管就构成了CCD芯片。

6.2.2.1.2、CMOS

       CMOS相机采用CMOS图像传感器的设备。CMOS一般应用在普通数码设备中，CCD一般应用高档数码设备中，CCD比CMOS单位成像的效果要好。CCD镜头比CMOS分辨率要高。

       CCD和CMOS在制造上的主要区别是CCD是集成在半导体单晶材料上，而CMOS是集成在被称做金属氧化物的半导体材料上。CCD只有少数几个厂商索尼、松下等掌握这种技术。CCD制造工艺较复杂，采用CCD的摄像头价格昂贵。

       相同像素下CCD的成像通透性、明锐度都很好，色彩还原、曝光可以保证基本准确。CMOS由于低廉的价格以及高度的整合性，因此在摄像头领域还是得到了广泛的应用。

       CMOS的信号是以点为单位的电荷信号，而CCD是以行为单位的电流信号，前者更为敏感，速度也更快，更为省电。高级的CMOS并不比一般CCD差，CMOS工艺还不是十分成熟，普通的CMOS一般分辨率低而成像较差。

       CCD或CMOS，基本上都是利用矽感光二极体进行光与电的转换。光线越强、电力越强；反之，光线越弱、电力也越弱的道理，将光影像转换为电子数字信号。

       CCD每曝光一次，在快门关闭后进行像素转移处理，将每一行中每一个像素（pixel）的电荷信号依序传入“缓冲器”中，由底端的线路引导输出至CCD旁的放大器进行放大，再串联ADC输出；相对地，CMOS的设计中每个像素旁就直接连着ADC（放大兼类比数字信号转换器），信号直接放大并转换成数字信号。

       CCD的充分保持信号传输时不失真，透过每一个像素集合至单一放大器上再做统一处理，保持资料的完整性；CMOS制程简单，没有专属通道，必须先放大再整合各个像素资料。

       由于CMOS每个像素包含了放大器与A/D转换电路，过多的额外设备压缩单一像素的感光区域的表面积，因此相同像素下，同样大小之感光器尺寸，CMOS的感光度会低于CCD。

 

       CMOS应用半导体工业常用的MOS制程，一次整合全部周边设施于单晶片中，节省加工晶片所需负担的成本和良率的损失；CCD采用电荷传递的方式输出资讯，必须另辟传输通道，如果通道中有一个像素故障（Fail），就会导致一整排的讯号壅塞，无法传递。

       CMOS每个感光二极体旁都搭配一个ADC放大器，如果以百万像素计，需要百万个以上的ADC放大器，虽然是统一制造下的产品，每个放大器或多或少都有些微的差异存在，很难达到同步放大的效果，对比单一个放大器的CCD，CMOS最终计算出的噪点就比较多。

       市场销售的数码摄像头中以CMOS感光器件的为主。在采用CMOS为感光元器件的产品中，采用影像光源自动增益补强技术，自动亮度、白平衡控制技术，色饱和度、对比度、边缘增强以及伽马矫正等先进的影像控制技术，完全可以达到与CCD摄像头相媲美的效果。

       尽管CCD在影像品质等方面均优于CMOS，不可否认的CMOS具有低成本、低耗电以及高整合度的特性。CMOS的低成本和稳定供货，所以广泛使用，制造技术不断地改良更新，使得CCD与CMOS两者的差异逐渐缩小。

6.2.2.2、工业相机

       工业相机是机器视觉系统中的关键组件，本质功能就是将光信号转变成有序的电信号。选择合适的相机也是机器视觉系统设计中的重要环节，相机的选择不仅直接决定所采集到的图像分辨率、图像质量等，同时与整个视觉系统的运行模式直接相关。 

       工业相机俗称摄像机，相比于传统的民用相机（摄像机）而言，它具有高的图像稳定性、高传输能力和高抗干扰能力等，市面上工业相机大多是基于CCD（Charge Coupled Device）或CMOS（Complementary Metal Oxide Semiconductor）芯片的相机。

       CCD是目前机器视觉常用的图像传感器。它集光电转换及电荷存贮、电荷转移、信号读取于一体，是典型的固体成像器件。突出特点是以电荷作为信号，不同于其它器件是以电流或者电压为信号。通过光电转换形成电荷包，而后在驱动脉冲的作用下转移、放大输出图像信号。典型的CCD相机由光学镜头、时序及同步信号发生器、垂直驱动器、模拟/数字信号处理电路组成。CCD作为一种功能器件，与真空管相比，具有无灼伤、无滞后、低电压工作、低功耗等优点。

 

       CMOS图像传感器的开发最早出现在20世纪70 年代初，90 年代初期，超大规模集成电路 (VLSI)制造工艺技术的发展，CMOS图像传感器得到迅速发展。CMOS图像传感器将光敏元阵列、图像信号放大器、信号读取电路、模数转换电路、图像信号处理器及控制器集成在一块芯片上，还具有局部像素的编程随机访问的优点。CMOS图像传感器以其良好的集成性、低功耗、高速传输和宽动态范围等特点得到了广泛的应用。

       工业视觉离不开相机的支持，在一些高端领域，必须用工业相机来处理。工业相机是民用相机的增强版，本质依然采用CCD或者CMOS技术。相对民用相机，用更高的软硬件配置，更大的功耗获得更好的质量。

6.2.2.3、总结

       人工智能图像处理，工业上，对高清晰照片进行处理。其它领域，是消费级的处理。技术的进步，高清晰相机在消费级市场应用，高清照片的消费级技术处理将会显现。

       工业视频的处理靠高端硬件实现，消费级高清视频的处理，还需要新的技术框架支持。在未来几年将有新的机会出现。