【计算机视觉】计算机视觉与深度学习-01-计算机视觉相关介绍-北邮鲁鹏老师课程笔记

前言

图像处理 vs 计算机视觉

图像处理

输入是图像或视频，输出也是图像或视频。

计算机视觉

输入是图像或视频，输出不仅限于图像或视频，还可以是语义标签、3维场景的结构信息等，更强调的是图像或者视频内容的输出。

相关课程

斯坦福大学的课程最好最完整
CS131: Computer Vision: Foundations and Applications （2012年之前的技术）
一Fall 2018, Juan Carlos Niebles and Ranjay Krishna
一Undergraduate introductory class
CS231a: Computer Vision, from 3D Reconstruction to Recognition（计算机视觉3维重建）
一Professor Silvio Savarese
一Image processing, cameras, 3D reconstruction, segmentation, object recognition,scene understanding; not just deep learning
CS 230: Deep Learning
一Spring 2019, Prof. Andrew Ng and Kian Katanforoosh
CS231n: Convolutional Neural Networks for Visual Recognition（卷积神经网络与视觉识别）
一Justin Johnson & Serena Yeung & Fei-Fei Li
一Focusing on applications of deep learning to computer vision

计算机视觉简介

计算机视觉顶级会议

CVPR（IEEE Conference on Computer Vision and Pattern Recognition）
ICCV（International conference on computer vision）

计算机视觉的目标

跨越“语义鸿沟”建立像素到语义的映射

图像中的信息

三维场景的结构信息

语义信息

计算机视觉的研究方向

计算机视觉任务和算法是交替发展的，大多算法是将其他领域的算法进行优化和改进后引入计算机视觉领域。

三维信息获取

视觉识别

图像分类

目标检测

图像分割

图像描述

图像生成

计算机视觉的发展

人类视觉的相关研究

Hubel&Wiesel

1981诺贝尔医学奖
Dr. Hubel said:
There has been a myth that the brain cannot understand itself. It is compared to a man trying to lift himself by his own baotstraps. We feel that is nonsense. The brain can be studied just as the kidney can.
人类的视觉感知从物体的边缘开始

人类视觉的优良性

人类视觉的优良性的代价

运动视盲

视觉上下文感知

没有移动的运动

1963 机器视觉系统研究

《Machine Perception of Three-Dimensional Solids》1963Larry Roberts

1966 MIT本科生暑期视觉项目

计算机视觉的起源1966年，该项目没有成果，甚至不知道应该解决什么问题，问题的难点在哪里，但使得图像处理和计算机视觉相互独立出来。

行业先驱 David Marr（1945-1980）

大卫马尔（David Marr）是计算机视觉的先驱，被称为计算机视觉之父。

David Marr的贡献

将计算机视觉的问题分为了三个层次

计算理论

计算的目的是什么?该问题的已知或可以施加的约束是什么?

表达和算法（最重要）

输入、输出和中间信息是如何表达的?使用哪些算法来计算所期望的结果?

视觉表达的三个阶段

边缘图

提取输入图像的边缘

2.5-D简图

有语义概念的形体

3-D模型

硬件实现

表达和算法是如何映射到实际硬件即生物视觉系统或特殊的硅片上的?相反地，硬件的约束怎样才能用于指导表达和算法的选择?随着计算机视觉中使用图形芯片和多核结构日益增长，这个问题再次变得相当重要

计算机视觉应用进展

计算机视觉与动画产业

Motion Capture

将真实演员的行为提取出来，赋给虚拟的动画任务

计算机视觉与三维建模

计算机视觉与摄影

相机的人脸检测，主流方法是adaboost算法。
机场或商场的人脸检测，主流方法是深度学习算法。

计算机视觉与生物识别

虹膜识别

How the Afghan Girl was Identified by Her Iris Patterns - John Daugman

指纹识别（已成熟）

人脸识别

光学字符识别（OCR）

计算机视觉与家用型机器人

计算机视觉与视觉搜索

计算机视觉与穿戴设备

snapstacles、google project glass

计算机视觉在自动驾驶与无人驾驶中的应用

计算机视觉与新零售

计算机视觉与人机交互

计算机视觉在增强现实中的应用

计算机视觉在机器人及太空探索中的应用

计算机视觉在气象学中的应用

卷积神经网络

对于视觉识别任务而言，目前最有效的工具就是卷积神经网络。

为什么卷积神经网络在视觉识别任务中最有效？

卷积神经网络的发展

深度学习

深度学习三要素

算法
数据
算力