笔记：计算机视觉与深度学习-北邮-鲁鹏-2020年录屏-第一讲

笔记：计算机视觉与深度学习-北邮-鲁鹏-2020年录屏

写在开头（重复的）

1.课程来源：B站视频.
2.笔记目的：个人学习+增强记忆+方便回顾
3.时间：2021年4月8日
4.同类笔记链接：（钩子：会逐渐增加20210428）
第一讲.第二讲.第三讲.第四讲.第五讲.第六讲.第七讲.第八讲.第九讲.第十讲.第十一讲.番外篇一个简单实现.第十二讲.第十三讲.第十四讲完结.
5.请一定观看视频课程，笔记是对视频内容的有限度的重现和基于个人的深化理解。

—以下正文—

一、计算机视觉的主要用途和相关科学

1.在生活中的应用：车牌识别、球赛中摄像机跟踪、图像处理、人脸识别、医疗图像中疾病特征的识别、SAR（Synthetic Aperture Radar）即合成孔径雷达图像识别。
2.计算机视觉与各学科的交叉

• 与生物、神经科学的交叉：计算机模仿神经的工作方式，机器学习的成果帮助人们加深对神经的认知。
• 与数学的交叉
• 与计算机科学的交叉
• 与物理的交叉：光学传感器通常是输入
• 与图像处理的区别：图像处理是输入图像到输出图像，计算机视觉输入图像可输出更多，比如图像内容的标签、三维建模。
• 与自然语言的交叉：一个研究方向是语音识别+语义识别，一个研究方向是看图说话。
• 与机器人的交叉：帮助机器人理解环境。（计算机视觉研究的主要阵地）

二、相关优秀课程推荐

1.CS131 ：Computer Vision: Foundations and Applications：主要讲2012年一前的技术，输入图像输出语义。
2.CS231n：Convolutional Neural Network for Visual Recognition:主要讲2012年以后图像识别的内容。
3.CS231a：Computer Vision,from 3D Reconstruction to Recognition:主要讲输入图像，输出三维结构。
4.CS230：深度学习方面内容。

三、计算机视觉简介（视频15：00）

（一）机器智能的实质

1.现在机器智能的实质，是在有限时间内做了快速搜索的事情。
2.从“深蓝”到alpha go的进步，是用各种方法提高了检索的效率，让穷举法能处理的数量级从“国际象棋级”到了“围棋级”。
3.目的：让你认识到，机器智能在某件事情上做的好，并不是它超越了人类。

（二）什么是视觉

1.图像—>感知器官—>解释器—>解释（我理解为编译原理中提到的“单词”）

（三）计算机视觉的目标是什么？

1.目标：跨越语义鸿沟，建立像素到语义的映射。

（四）分析人类视觉的一些特征

1.目的：分析优势劣势，更好进行设计
2.动态视觉优秀，能在极短时间分辨东西
3.反应时间很短，能迅速而连贯的分辨东西
4.联系上下文能力强，能根据图像内的特征识别出模式，跟自己脑内特征匹配（狗的图片，识别花坛，台阶，狗在低头吃东西）（SS注意搜索关键词：模式、识别、匹配，非平凡模式）

（五）理解图像中包含哪些信息？

1.三维场景的结构信息
2.语义信息（关键词：语义。参见编译原理）

（六）计算机视觉能做什么？（61：00）

1.与动画产业。
2.与三维建模。
3.与生物识别
4.家用型机器人
5.与视觉搜索
6.与穿戴设备
7.与人机交互（如：眼动识别）
8.与增强现实
9.与气象学

四、本门课程主要安排（79：00）

（一）课程介绍

1.本课程聚焦视觉识别任务中最为基础、也是最为重要的一个任务-图像分类。
2.与图像分类（这是一张猫的图片）相关的任务：目标检测（猫在图片中的什么位置）、图像分割（那个像素点属于猫）、图像描述（图->描述语言）、图像生成（无中生有）。
3.最有效工具，卷积神经网络。

（二）课程目标

1.了解视觉识别任务的难点与现状
2.掌握多种典型的视觉识别任务（图像分类、目标检测、图像分割）
3.熟悉机器学习的一些基本概念、了解机器学习系统的设计流程
4.掌握多种深度网络结构（包括全连接神经网络、卷积神经网络、循环神经网络、变分自编码网络、生成对抗网络）

（三）课程章节安排

1.与学习深度学习不同，本课程围绕图像展开，根据对图像的不同操作进行分类
2.图像分类：图像分类任务、机器学习所涉及的基础概念以及系统设计的基本范式、线性分类器、全连接神经网络、卷积神经网络、经典网络解析、神经网络可视化（可视化，让我们理解神经网络内部再干什么，过程展示）。
3.图像检测：图像检测任务分析、评价指标、二阶段检测网络、一阶段检测网络
4.图像分割：图像分割任务分析、评价指标、语义分隔网络、实例分隔网络。
5.图像描述：循环神经网络、LSTM、注意力机制（循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。）（长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的循环神经网络）。
6.图像生成：深度生成网络（PixelCNN\PixelRNN。变分自编码网络、生成对抗网络）。