第一讲 课题介绍/Introduction
1. 主要研究问题
2. 开源库介绍(OpenCV,Caffe,Theano,Tensorflow,Torch等)
3. 应用案例:基于Python语言的OpenCV库配置
第二讲 图像数据处理/Image Data Processing
1. 空域分析及变换(Sobel,拉普拉斯,高斯,中值等)
2. 频域分析及变换(Fourier & Wavelet Transform)
3. 模板匹配,金字塔,滤波器组
4. 主成分分析/PCA,奇异值分解/SVD,聚类/Cluster
5. 应用案例:人脸检测方法——基于OpenCV库
第三讲 图像特征与描述/Image Feature & Descriptor
1. 颜色特征(RBG,HSV,Lab等)
2. 几何特征(Edge,Corner,Blob等)
3. 纹理特征(HOG,LBP,Gabor等)
4. 局部特征(SIFT,SURF,FAST等)
5. 应用案例:虚拟现实的图像拼接(Image Stitching)
第四讲 图像识别之图像分类/Image Classification
1. 卷积神经网络介绍/CNN(AlexNet, VGG, GoogLeNet, ResNet)
2. 图片分类/Image Classification
3. 场景分类/Scene Classification
4. ILSVRC(Imagenet Large Scale Visual Recognition Challenge )竞赛之分类问题
5. 应用案例:图片分类之残差神经网络ResNet
第五讲 图像识别之图像检测/Image Detection
1. 区域卷积神经网络/R-CNN(SPPnet,Fast/Faster R-CNN,R-FCN)
2. 物体检测/object detection & localization
3. 行人检测/pedestrian detection
4. 人脸检测/face detection
5. ILSVRC竞赛之物体检测及定位问题
6. 应用案例:人脸检测的Faster R-CNN应用(快速版区域卷积神经网络)
第六讲 图像分割/Image Segmentation
1. 显著性检测/Saliency Detection
2. 物体分割/Object Segmentation(GraphCut,GrabCut等)
3. 语义分割/Semantic Segmentation(FCN,CRF/MRF)
4. PASCAL VOC竞赛介绍
5. 应用案例: 自动驾驶场景图片的语义分割——全卷积网络DeepLab
第七讲 图像描述(图说)/Image Captioning
1. 深度语言模型介绍(Vanilla-RNN,LSTM,GRU)
2. LSTM原理解析
3. 图说模型原理与结构
4. 大数据集介绍(MSCOCO,Flickr8K,Flickr30k)
5. 应用案例:图说智能(图像标注)的应用——Show and Tell
第八讲 图像问答/Image Question Answering
1. 与图像描述的区别
2. 大数据集介绍(VQA,Visual Genome)
3. 图像问答模型原理及结构
4. 模型增强:注意力机制及外部知识库
5. 应用案例:图像智能问答的应用模型堆栈注意网络Stacked Attention Networks(SANs)
第九讲 图像生成/Image Generation
1. 对抗生成网络(GAN)
2. GAN在图像生成中的应用(图片分布学习、以文生图)
3. GAN在传统问题中的应用(超分辨、语义分割)
4. 应用实例:图像复原的超分辨(SRGAN)模型应用
第十讲 图像检索/Content-based Image Retrieval
1. 检索特征(颜色,纹理,形状,局部特征,Bag of Visual Words)
2. 特征相似度
3.大数据集下的索引加速技术(KD-tree,Locality Sensitive Hash)
4. 双向检索技术(以图搜图&以文搜图)
5. 应用案例:图像检索之开源库Lire (Lucence Image Retrieval)的应用
关于
https://github.com/tensorflow/models/tree/master/research/slim/
https://arxiv.org/pdf/1707.07012.pdf
TF-slim是一种新的轻量级的 TensorFlow (tensorflow.contrib.slim) 高级 API, 用于定义、训练和评估复杂的模型。此目录包含用于训练和评估使用 TF-斯利姆的几种广泛使用的卷积神经网络 (CNN) 图像分类模型的代码。它包含的脚本将允许您从头开始训练模型, 或从预先的网络权重 fine-tune 它们。它还包含下载标准图像数据集的代码, 将它们转换为 TensorFlow 的本地 TFRecord 格式, 并使用 TF-slim的数据读取和排队实用程序读取它们。您可以轻松地在这些数据集上训练任何模型, 如下面所示。我们还包括了一个 jupyter 笔记本, 它提供了如何使用 TF 超薄进行图像分类的工作示例。对于开发或修改您自己的模型, 请参阅主 TF主页的slim条目
Nathan Silberman,github:nathansilberman
Sergio Gudarrama,github:sguada
其他的相关链接:
Installing the TF-slim image models library
关于使用TF-slim 在图像分类方面我们可以按照TF-slim image models library,这个不只是TF的代码库,使用这个也可以核对TF的储存的其他库
cd $HOME/workspace
git clone Http://github.com/tensorflow/models/
https://github.com/tensorflow/models/tree/master/research/slim/#Install
https://github.com/tensorflow/models/tree/master/research/slim/#Install