吴建明wujianming_110117

从FPGA到camera ISP漫谈

视频监控与视频编解码技术

Camera摄像头特定应用杂谈

文本生成图像技术杂谈

计算机视觉杂谈

SLAM技术与市场杂谈

多传感器融合技术

Mobileye技术与市场走势

AI医学影像技术展望

ADAS摄像头20个技术挑战车载相机已经成为现代汽车中不可或缺的一部分，不论在辅助驾驶还是在自动驾驶应用领域，越来越多的相机装备在机车上。根据Tesla现在的配置，全车有9个Camera。根据Waymo的配置，全车有29个Camera，总价值超过20万人民币。为了保证ADAS/自动驾驶能够可靠地运行，无论白天黑夜、天气状况、照明和道路状况车载相机都应能确保输出稳定可靠且符合应用需求的图像，这就对车载相机开发者提出了艰巨的考验。可以说百分之一百地满足上述需求是一个不可完成的任务，所以从系统开发的角

面向物联网的可重构流式深度卷积神经网络加速器摘要卷积神经网络（CNN）在图像检测中具有显著的准确性。为了在物联网设备中使用CNN实现图像检测，提出了一种流媒体硬件加速器。建议的加速器通过避免不必要的数据移动来优化能效。利用独特的滤波器分解技术，加速器可以支持任意卷积窗口大小。此外，通过使用单独的池单元，最大池函数可以与卷积并行计算，从而提高吞吐量。台积电65nm技术实现了一个加速器原型，核心尺寸为5mm2。该加速器可以支持主要的CNN，并在350mW时实现152GOPS峰值吞吐量和434GOPS/W能效

Nature封面论文在毫米尺度验证广义相对论在地球上，楼层越低，时间过得越慢。这可不是玄学，广义相对论预言的时间膨胀效应：引力越大，时间越慢。在不同高度差上验证时钟变快 | 图源：nature今天nature封面的一篇文章证明了，即使高度差只有一毫米，时间流逝的速度也不一样，这是迄今为止在最小尺度上验证广义相对论的实验。该研究来自于美国科罗拉多大学jila实验室的叶军团队。叶军本科毕业于上海交通大学应用物理系。他率团队开发出世界上最精确的原子钟，得出在一毫米高度差上，时间相差大约一千亿亿分之

腾讯V265编码器V265编码器的业务体验优化，包括码率控制优化以及业务适配相关的优化。主要内容可以分为三个部分。 V265的最新情况 V265在码率控制方面所做的一些优化 V265编码器在业务落地过程中遇到的一些问题与解决方案V265最新情况介绍目前，V265编码器可配置的编码速度级别已经达到11个以上，能够支持多个服务端的转码平台，以及直播，点播，零延迟，云游戏等多种业务下的延迟环境。在码率控制方面，V265支持包括ABR，CBR，VFR, 多PASS，CRF等在内的多种码率控制

Cmaera ISP技术ISP图像信号处理• 1，ISP图像信号处理介绍• 2，ISP的目的是什么？• 3， ISP的处理流程以及算法o 3.1镜头的几何变形o 3.2 镜头渐晕o 3.3 曝光控制：曝光不足o 3.4 Optical Black Clampingo 3.5 Image Compression• 4 ISP的内部组成• 5 ，IC ISP架构o 5.1 NuCORE Sip1270 DBE• 5.2 TI TMS320DM270• 5.3 DM270 CCD1

新一代图像AI ISP技术2021年12月29日消息，近日，华为海思发布了新一代的越影AI ISP，这是用于物联网智能终端的新一代智能图像处理引擎，突破传统 ISP 图像处理的极限，将业界画质标杆推向新的高度。在近日开幕的2021安博会上，华为海思也展示了新一代越影AI ISP的性能。现在上海海思官方微信也带来了对于海思新一代 越影 AI ISP 技术的硬核指数的深度解读：视觉产业过去十年发展，历经“看得见”与“看得清”，到当前“ 看得懂”的智能阶段。图像分辨率持续提升，图像效果不断优化。但是由于视觉

音视频会议技术参数实时音视频 SDK，支持高质量的多人会议，可快速获得流畅稳定、多端互通的网络通话体验。提供什么高质量的多人会议采用先进的抗丢包技术，提供高质量的多人会议。• 最高分辨率可达 1080p• 音频能对抗 80% 丢包• 视频能对抗 40% 丢包• 音视频延时最低可达 66 ms千人会议模式解决大团队会议问题，千人以下无需使用直播系统。• 实时无延迟• 灵活可控的发言模式• 最多可达千人级别• 适用于全球分布的大团队灵活的会议控制能力主持人权限按需

Camera系列规格参数FH8858V200: 新一代8M高性能网络摄像机 SoCFH8858V200是新一代面向8M专业型网络摄像机应用的高性能H.265/H.264/JPEG SoC芯片。芯片集成了高性能的ISP图像处理模块和最新的Smart H.265视频压缩编码器，具备优异的图像处理能力、较高的编码质量和极低的编码码率，支持外接DDR存储器，拥有完备的应用所需外设接口，包括USB，SDIO和Ethernet等，可适用多种网络摄像机产品。FH8550M:高性能1080P同轴高清摄像机ISP

光学薄膜技术光学薄膜技术是一项古老而又新型的光学技术，广泛应用于科研、 工业、 医疗、 航空、航天、国防等多个领域。随着应用领域的不断拓展， 光学薄膜技术已经发展成为一门独立的专业技术。光学薄膜的应用主要包括成像光学系统应用和非成像光学系统应用两个方面， 主要实现光谱选择、 光能量增强以及色差均衡等。随着我国空间技术的不断发展， 对地观测与空间探测等遥感探测技术成为空间技术的主要发展方向，主要包括气象观测、 国土资源探测、海洋探测等。 各种空间相机、 光谱仪、望远镜等不断开发和应用为光学薄膜技术的发展

网路摄像头技术参数介绍星光级图像传感器4MP (2592 × 1520) @30fpsSmartH.265 / H.265+ / H.265 / SmartH.264 / H.264+ / H.264/ / MJPEGICR 红外移动滤光片自动切换，实现日夜功能支持 3D 降噪、物理宽动态、强光抑制、背光补偿和透雾支持畸变校正支持 ROI 感兴趣区域编码支持 1 路内置咪头、支持双向音频、硬件复位支持 2 路报警输入、2 路报警输出USBx1; RS485x1; ABF支持 AC24V

使用Apache TVM将机器学习编译为WASM和WebGPUTLDR在Apache TVM深度学习编译器中引入了对WASM和WebGPU的支持。实验表明，在将模型部署到Web时，TVM的WebGPU后端可以接近本机 GPU的性能。概述计算是现代机器学习应用程序的支柱之一。GPU的引入加快了深度学习的工作量，极大地提高了运行速度。部署机器学习的需求不断增长，浏览器已成为部署智能应用程序的自然之所。TensorFlow.js和ONNX.js将机器学习引入浏览器，但Web版本和本机版本之间在性能上仍

ALD技术，相机去噪，图像传感器作为镜片的防反射涂层技术被关注的ALD（atomic layer deposition）的引入趋势。（a）为什么需要一种新的防止反射的涂层技术？ ALD被认为是最有前途的防止反射的涂层技术吗？原子层沉积（ALD）是将物质以单原子膜形式一层一层镀在基底表面的技术。原子层沉积是化学气相沉积（CVD）的一种，是一种新型薄膜沉积技术，具有成膜均匀性极优、成膜密度极好、薄膜纯度高、台阶覆盖性优、可低温沉积等优点，可以广泛应用在微纳电子、纳米材料制造领域，全球多个国家对其技术研究

FinFET与2nm晶圆工艺壁垒谈到半导体工艺尺寸的时候，通常对于下面的一串数字耳熟能详：3um、2um、1.5um、1um、0.8um、0.5um、0.35um、0.25um、0.18um、0.13um、90nm、65nm、45nm、32nm、22nm、14nm、10nm…有人说5nm是半导体工艺的极限尺寸，也有人说1nm是半导体工艺的极限尺寸；iPhone6s的 A9处理器更出现了三星14nm工艺和台积电16nm工艺二个版本、哪个版本更先进的激烈的争论。这里的工艺尺寸，通常是指集成电路的最小线宽，那么

ALD对照CVD淀积技术的优势ALD 适合制备很薄的高K金属氧化物层，对腔室的真空度要求比较高，对反应气体源及比例的要求也较高。目前沉积速率还是比较慢，大大限制了其在工业上的推广应用，不过随着设备技术的不断进步，包括ALD系统，前景还是很值得期待的。ALD 除了常规的半导体高K 材料，太阳能等领域，军事上的用途： MCP ， 热和快中子探测等领域。应用范围会越来越广，只是，沉积速率，成本和价格的问题，在制约推广。如果说严重不足应该是源的问题，不像CVD的源那样广有了合适的源，ALD才能更好的发挥

PVD与CVD性能比较CVD定义：通过气态物质的化学反应在衬底上淀积一层薄膜材料的过程。CVD技术特点：具有淀积温度低、薄膜成分和厚度易于控制、均匀性和重复性好、台阶覆盖优良、适用范围广、设备简单等一系列优点。CVD方法几乎可以淀积集成电路工艺中所需要的各种薄膜，例如掺杂或不掺杂的SiO2、多晶硅、非晶硅、氮化硅、金属(钨、钼)等。影响台阶覆盖性的关键在于气相沉积技术的“绕镀性”。气相沉积技术按照其原理可以分为化学气相沉积(CVD, Chemical Vapor Deposition)和物理气

摄像头PVD和CVD薄膜在FDP 的生产中，在制作无机薄膜时，可以采用的方法有两种：PVD 和CVD (将VE 和VS 归于PVD ，而ALD 归于CVD)。Physical Vapor Deposition (PVD)Physical Vapor Deposition (PVD)称为物理气象沉淀技术。该技术在真空条件下，通过先将材料源（固体或液体）表面气化成气态原子、分子，或部分电离成离子，通过低压气体(或等离子体)过程，在基体表面沉积，具有某种特殊功能的薄膜的技术。PVD 沉积流程，可以粗略的

原子层沉积（ALD）和化学气相沉积（CVD）微电子制造铜金属化的研究进展Atomic Layer Deposition (ALD) andChemical Vapor Deposition (CVD)of Copper-based Metallizationfor Microelectronic Fabrication

camera数字降噪（DNR）闭路电视摄像机 无论多么出色和弱光，在黑暗中拍摄视频监控录像时都会不可避免地产生一些噪音。噪声是任何电子通信中不可避免的部分，无论是视频还是音频。本质上是静态的–视频信号中的干扰，在图像帧中表现为白色和黑色斑点，使其呈现颗粒状外观。昏暗的光线不足会导致相机难以区分颜色和对比度，导致图像中的像素混合在一起，而不是正确且细节丰富。当不良照明导致图像中的光太接近传感器中自然存在的噪声水平时，也会发生图像噪声，从而使传感器很难感应到图像。在较大的分辨率下，噪声也更为普遍（或至少更

Camera噪声问题Camera RGB 域的噪声以上部分属于sensor processing，接下来的部分属于color、luminance processing。gammagamma是在RGB域设置一个gamma table去对应给每一个像素值增加一个适当的增益提高暗区的亮度水平。gamma的由来是由古老的显示屏来的，gamma校正基本上是为了提升暗部细节，可以理解为在数字gain增加，会显著增加暗区的噪声，针对不同平台或者设备gamma的核心理念都是一样的，只不过对于gamma LUT的数据

camera中LENS和SENSOR的CRA是如何搭配的？camera中，lens和sensor的搭配是非常关键的问题。但这两者是如何搭配的呢？一般在Sensor data sheet中会附有全视场CRA参考值，不同sensor厂家有不同的要求，可以按照这个来做设计参考。有的Sensor厂家在公开的数据表中不会show出来，但可以跟索取。CRA 是什么东东啊，一般的LENS厂家都会提供能与只配合的sensor资料，只要sensor 能放到相应LENS的HOLDER 里去就可以了，sensor不有1/3

CVD-ALD前驱体材料ALD前驱体源瓶特点是什么ALD前驱体源瓶（起泡器）用于固态、液态及气态超纯物料类的封装，涉及微正压、常压、中低压的危险化学品，对源瓶的安全性和洁净度提出严苛的要求。ALD前驱体源瓶特点：所有管件采用316L不锈钢，内部经400目机械抛光和电化学抛光，Ra≦0.25微米；阀门有美国世伟洛克球阀和隔膜阀、日本富士金隔膜阀和韩国TK隔膜阀供选择；密封垫片选用纯银镀镍垫片；氦质谱检测泄漏率≦1.0*10-10mbar L/s；可盛装化学品纯度≧99.9995;总残余元素量

地理围栏API服务开发要使用华为地理围栏服务API，需要确保设备已经下载并安装了HMS Core（APK），并将Location Kit的SDK集成到项目中。指定应用权限• 如果需要使用地理围栏服务API，需要在“AndroidManifest.xml”文件中申请ACCESS_FINE_LOCATION权限和ACCESS_COARSE_LOCATION权限：a. b. • 在Android Q版本中，需要在“AndroidManifest.xml”文件中申请ACCESS_BACKGROUND_L

活动识别API服务开发要使用华为活动识别服务API，需要确保设备已经下载并安装了HMS Core（APK），并将Location Kit的SDK集成到项目中。指定应用权限• 在Android Q以下版本使用活动识别需要在“AndroidManifest.xml”文件中配置以下权限：a. • 在Android Q及以上版本中，需要在“AndroidManifest.xml”文件中申请以下权限：. 说明以上活动识别相关权限属于危险权限，使用时需要动态申请。注册静态广播示例代码中活动识别服务的

宽视角SFT显示技术技术介绍：SFT即Super-Fine TFT，增大了可视角度，丰富了色彩，提高了面板的透过率，并减小了响应时间。技术优点：超宽的视角；双视角显示技术技术介绍：屏幕被分成可独立工作的两部分，是显示器像素发出的光通过光栅后分成两部分，在不同方向上可以看到不同的画面。例如当主驾驶员观看导航信息的同时副驾驶员可观看娱乐节目。技术优点：分离角度和可视角度由单个视点的亮度曲线所决定；分离角度和可视角度是关键参数，优化设计后车载显示适用；平视显示器HUD（Head-U

用OpenCV进行摄像机标定照相机已经存在很长时间了。然而，随着廉价针孔相机在20世纪末的引入，日常生活中变得司空见惯。不幸的是，这种廉价伴随着它的代价：显著的扭曲。幸运的是，这些常数，通过校准和一些重新映射，可以纠正这一点。此外，通过校准，还可以确定相机的自然单位（像素）和真实世界单位（例如毫米）之间的关系。原理对于畸变，OpenCV考虑了径向和切向因素。对于径向，使用以下公式：So for an old pixel point at coordinate in the input ima

摄像头标定GML Camera CalibrationGML Camera Calibration官方版是一款十分优秀出色的相机标定软件，GML Camera Calibration官方版界面友好，功能实用，可以帮助用户轻松快捷的计算相机的内外参数，不仅如此，GML Camera Calibration最新版还对张正友标定方式进行包含，支持直接打印的功能。GML Camera Calibration软件功能　　GML Camera Calibration官方版在标定之后计算固有摄像机参数和畸变系数。

点云建模场景分析新技术一直在扰乱建筑和土木工程行业。点云建模已经存在了一段时间，但它已成为承包商和工程师的主要工具，在进行土地调查时寻求更多的便捷性和效率。用更少的资源来完成相同的工作-这是每个人从其业务努力中想要的。但是，点云到底是什么？它对测量工作场所有何帮助？本文介绍如何将点云用于3D模型，展示其工作原理，以及从中获得的收益。什么是点云？点云是许多小数据点的集合。这些点存在于三个维度中，每个维度具有X，Y和Z坐标。每个点代表某个区域（例如工程现场）内一部分表面。可以将这些点想像成图片中的像素。

使用卷积神经网络的自动心电图诊断AutomaticECG Diagnosis Using Convolutional Neural Networkhttps://www.mdpi.com/2079-9292/9/6/951/htm摘要心血管疾病（CVD）是最常见的慢性和危及生命的疾病，因此被认为是造成死亡的主要原因之一。基于最近流行的卷积神经网络（CNN）提出的新神经体系结构是使用心电图（ECG）信号开发自动心脏病诊断系统的解决方案。更具体地说，ECG信号直接传递到经过适当训练的CNN网络。该数据

Python分析离散心率信号（下）如何使用动态阈值，信号过滤和离群值检测来改善峰值检测。一些理论和背景到目前为止，一直在研究如何分析心率信号并从中提取最广泛使用的时域和频域度量。但是，使用的信号是理想的。现在考虑这个信号：一个挑战！这是遇到的信号质量的另一个极端。老实说，当将传感器连接到手指上时（在0到4000之间），通过测量产生了该信号。在此之后，手指中的血管需要立即适应传感器的压缩（大约4​​000-5000），此后信号变得稳定。在大约7500、9000和12000时，用力将传感器移到手指上

Python分析离散心率信号（中）一些理论和背景心率信号不仅包含有关心脏的信息，还包含有关呼吸，短期血压调节，体温调节和荷尔蒙血压调节（长期）的信息。也（尽管不总是始终如一）与精神努力相关联，这并不奇怪，因为大脑是一个非常饥饿的器官，因此消耗了总葡萄糖的25％和氧气消耗的20％。如果活动增加，心脏需要更加努力地工作以保持其供应。感兴趣的是这些措施可以被分为时间序列数据连接频域数据。如果熟悉傅立叶变换，则频率部分会很有意义。如果不是，请参阅维基百科页面具有很好的解释，并且对过程也非常直观。基本思想是，要

Python分析离散心率信号（上）一些理论和背景心率包含许多有关信息。如果拥有心率传感器和一些数据，那么当然可以购买分析包或尝试一些可用的开源产品，但是并非所有产品都可以满足需求。也是这种情况。那么，为什么不尝试自己做一个人呢？如果正在阅读本文，那么可能想尝试一下。本文适合那些有兴趣了解更多关于心率分析以及如何使用一些基本模块用Python编写简单但有效的分析算法的人。在谈论心率信号的形状时，每个搏动都具有QRS复数的特征，如a。，I-III（QRS）所示。还有一个P波（IV）和一个T波（V）。R成分