计算机图形学零碎学习

MTCNN：Multi-task convolutional neural network（多任务卷积神经网络）
将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。总体可分为P-Net、R-Net、和O-Net三层网络结构。

转载至https://blog.csdn.net/qq_36782182/article/details/83624357

• 它是2016年中国科学院深圳研究院提出的用于人脸检测任务的多任务神经网络模型，该模型主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高效的人脸检测。

• 这三个级联的网络分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net。和很多处理图像问题的卷积神经网络模型，该模型也用到了图像金字塔、边框回归、非最大值抑制等技术。

• 使用这里给出的示例，获得图片的五个特征点

>>> from mtcnn import MTCNN
>>> import cv2
>>>
>>> img = cv2.cvtColor(cv2.imread("ivan.jpg"), cv2.COLOR_BGR2RGB)
>>> detector = MTCNN()
>>> detector.detect_faces(img)
[
    {
        'box': [277, 90, 48, 63],
        'keypoints':
        {
            'nose': (303, 131),
            'mouth_right': (313, 141),
            'right_eye': (314, 114),
            'left_eye': (291, 117),
            'mouth_left': (296, 143)
        },
        'confidence': 0.99851983785629272
    }
]

通过最小二乘法来求投影矩阵https://blog.csdn.net/qq_41813454/article/details/105364003
有了投影矩阵从而可以把世界坐标系变化到图像坐标系。

Neural Rendering

forward rendering -> Model到Picture
inverse rendering -> Picture到Model
前向渲染常用的手段：光线追踪。

• 首先，我们用像素组成的平面代替我们的眼睛。在这种情况下，发射的光子将撞击图形平面上许多像素的一个，并将该点的亮度增加到大于零的值。重复多次直到所有的像素被调整，创建一个计算机生成的图像。这种技术称为前向光线追踪（Forward Tracing），因为我们是沿着光子从光源向观察者的前进的路径。