随笔

一、数字图像处理 Digital image processing

1、简要介绍

（1）定义：输入一张图像，经过一些处理（抠图、分割、降噪、风格迁移、拼接、修复等），输出另一张图像（从二维到二维之间的变化）

（2）常用的色彩空间：RGB、CMYK（一般用于印刷）、HSV（色调H，饱和度S，亮度V）

（3）一些英文术语：

降噪 image denoise

抠图 image matting：调整不确定区域α的值

分割 image segmentation：

拼接 image stitching：骑自行车的场景

修复 image inpainting/restoration：修复图像上的缝隙

变形 image morphing：换脸

风格迁移 image style migration：用梵高风格绘制图像

合成 image synthesis：用语义画笔绘制风景图

2、几个重要的思想

（1）分而治之

（2）系统性：输入、过程、输出

（3）对比：找出与别的算法更优的一个方面即可

3、其他

在写论文的时候或者做报告的时候先要把问题介绍清楚

二、计算机图形学Graphics

图形学三大会议：美国图形学联会、欧洲图形学联会、中国图形学联会

表示3D的方法：样条曲线曲面、mesh网格：点+三角面

1、简要介绍

（1）WHAT：将三维图像经过一些步骤变成二维图像，具体的步骤为：建模、绘制、动画与仿真、交互

（a）建模Modeling

用数字形式表示对象，主要有三种方式：交互式建模（借助软件，如max、maya、犀牛、zbrush）、3D扫描（借助仪器）、基于图像建模（借助图像）

建好模型之后通过纹理映射（Texture mapping）进行贴图

（b）绘制Rendering（渲染）

WHAT：光与物体的交互作用，主要与以下因素有关：光源、物体的材质、光源与物体的交互（漫反射、镜面反射、亚表面反射、折射）

WAY：第一种方法是光栅化：将几何信息转换成一个个的栅格组成的图像的过程；第二种方法是光线追踪ray tracing，与第一种方法是相反的过程。

（c）动画Animation

蒙皮骨骼

（d）交互Interaction

（2）计算机图形学的发展追求的指标2R

实时性 real-time和真实感 real-reality

（3）图形绘制流水线

顶点处理（可编程的）->组装->光栅化->片元处理（可编程的）

2、VR/AR/MR

（1）VR虚拟现实

3I特性：沉浸式immersive、交互式、想象imagination

眼镜：一体式、连电脑的、放手机的

（2）AR增强现实augmented

（3）MR混合现实

3、其他

GPU:graph process unit

WebGL：优点：方便、不用下载，缺点：初始加载很慢

三、计算机视觉（Computer Vision）

1、常用的找图片素材的平台有：behance、花瓣网、picsearch等

2、WHAT：从图像和视频中寻找信息、理解含义

3、GOAL：提取信息，主要分为两种：一种是可度量3D信息，另一种是语义信息。

前者：深度图像（带有深度值的图像，即RGBD），通常用灰度图（0黑~255白）表示深度信息

主要过程：特征提取->特征匹配->求取相机参数（内参（曝光度等）和外参（相机的位置、朝向等））->得到三维信息（即深度图像）可以重构模型

后者：主要是理解图像的语义信息（比如这个图像是个树或者是个人等）

4、区分识别和鉴定

识别：是张脸

鉴定：是你的脸

5、平滑的过程

例如 均值滤波（每n个取平均值来代替，通过滑动窗口）、中值滤波（每n个取中间的值来代替）、高斯滤波

6、HoG梯度统计直方图

7、监督学习与无监督学习

监督学习：数据集是已经打好标签的，训练过程直接根据数据集进行训练学习

无监督学习：数据集没有打标签，训练过程是模型通过聚类等算法自己进行训练学习，把具有相同特征的目标聚在一起