百面深度学习读书笔记-视频处理

视频处理

视频编码器

帧内预测

• • 通过当前待编码图像块的像素值来选择帧内编码模式（卷积），然后用选择的模式来预测待编码图像块的所有像素值（HEVC）。
  • 通过当前待编码图像块的周边像素值，直接预测当前待编码图像块的所有像素值（多层全连接网络）。

环路滤波

• • 主要解决视频重建中的块效应、振铃效应、颜色偏差等失真效应。
  • 有重叠地选取比较大的重建块，利用深层卷积神经网络对重建块进行增强和还原。

视频监控

视频压缩和识别准确率的平衡

• • Compress-Then-Analysis
  • Analysis-Then-Compress
  • 视频特征和内容联合压缩传输模型
  • 人脸图像视频压缩算法
    • 人脸特征提取
      • FaceNet
        • 利用深层卷积神经网络和三元损失函数实现了从图像像素空间到人脸特征空间的映射。
    • 人脸基本结构重建
      • 主干：转置卷积神经网络
      • 损失函数：平均绝对误差（MAE）和VGG-19中的ReLU层感知误差的线性组合
    • 人脸残差信息压缩
      • 原始图像与基本层结构图的残差信息进行压缩。
        • 基于GDN变换的模型
        • 传统图像视频压缩算法
          • JPEG
          • JPEG2000
          • HEVC

图像质量评价

主/客观质量评价

全参考/半参考/无参考质量评价

• • FR-IQA
  • RR-IQA
  • NR-IQA

超分辨率重建

方法

• • 基于插值的超分辨率重建方法
    • 速度快
    • 图像细节无法很好重建（会产生振铃或锯齿现象）
  • 基于重建的超分辨率重建方法
    • 频域法
      • 消混叠重建方法
    • 空域法
      • 很强的包含空域先验约束的能力
  • 基于学习的超分辨率重建方法
    • 算法
      • SRCNN
        • 图像块抽取和表示
        • 非线性映射
        • 重建
      • RAISR
    • 评价指标
      • 峰值信噪比（PSNR）
      • 结构相似性指标（SSIM）

提高重建速度

• • 增加计算资源
  • 优化模型
    • 输入改为原始的低分辨率图像
    • 使用小卷积核（反卷积层放大图像，放末端减小计算量）

提升重建效果

• • 加深网络结构
    • 深层网络能获得更大的感受野
    • 深层网络能实现复杂的非线性映射
  • 优化损失函数
    • 感知损失函数
      • 内容损失
      • 对抗损失

视频超分辨率重建

• • 利用帧间相关性进行重建
    • 运动补偿
      • STN
        • 定位网络（学习U到V的仿射变换参数）
        • 坐标生成器
        • 采样器
    • 仿射变换
    • 三帧融合

网络通信

时间序列预测

• • 差分整合移动平均自回归模型
  • CNN-RNN
    • LSTM
      • 学习长期依赖关系
    • 三维卷积
      • 学习“地理-时间”联合特征
  • GNN
    • 更好地表示网络中点与点之间的关系

自适应码率控制

• • 难点
    • 多个优化目标的对立性
    • 网络情况的复杂多变性
  • 方法
    • 基于带宽的码率自适应算法
    • 基于客户端视频缓存长度的码率自适应算法
    • Pensieve

注：本资源仅供学习和交流，不得私自商用，否则将追究法律责任。转载请附上此链接。