前言
本人是刚入行camera ISP成像行业的小白,在学习路上发现成体系的资料较少,因此整理了一个ISP相关的文档(会持续更新),以便于更好的理解和学习成像相关的知识。
传送门:https://github.com/HuiiJi/ez_ISPgithub.com/HuiiJi/ez_ISP
如果对您有些许帮助,不胜荣幸~
目录
-
ISP Pipe
-
Python实现RAW to RGB的Pipe, 基于Numpy库(主要用于Img2Col的卷积加速)。
-
目前支持NR、CFA、AWB、CC、GTM等模块,后续会优化复杂模块如NR的耗时。
2. Course
-
汇总一些国外的ISP相关的免费课程,主要包括ISP成像链路、各个模块的算法原理等。
3. Open source project
-
汇总一些优秀的开源ISP项目,基于C++、Python、Matlab等实现。
1. 安装
-
git clone 即可,只需要numpy等基础包。
2. 配置
-
针对target sensor的RAW进行配置,如RAW的存储、路径bits、分辨率等。
3. 运行
-
python run.py 即可,可以自己对模块进行计算效率优化(如多进程加速等)。
后记
去年毕业后开始学习ISP成像这个题目,个人理解它属于low-level图像质量优化方向,技术栈包括CPP/ML/DL,以及一些数学相关课程包括信号处理、矩阵论、数理分析等。
该方向企业岗位主要有安防厂(如海康、大华等),手机厂(OV、小米等),以及一些对接图像业务的AI方案提供商(商汤、旷视等),智能驾驶车企也有感知岗需要这个方向的工程师。
从成像数据流角度考虑,有些传统成熟的ISP模块优化幅度上线不高,用AI代替某些模块(如NR、HDR)能有非常不错的质量提升,下一篇预计分享一个文档梳理AIISP-NR的工程开发流程,如:如何针对某个Camera开发NR model并部署到计算设备以实现AI-NR。