【深度学习理论】深度学习图像处理领域相关资源
2018年03月12日 13:22:54 TwT520Ly 阅读数：342
原文链接：https://zhuanlan.zhihu.com/p/28601032
2.1 图像生成
2.1.1 绘画风格到图片的转换：Neural Style
2.1.2 图像类比转换：image-analogies
2.1.3 根据涂鸦生成图片：Neural Doodle
2.1.4 匹根据涂鸦类比图片：Sketchy
2.1.5 根据图片生成铅笔画：Pencil
2.1.6 手写文字模拟：rnnlib
2.1.7 转换风景图片：Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes
2.1.8 图片变Emojis表情：What emojis will the Emojini 3000 grant your photos?
2.1.9 增加图片分辨率：srez
2.1.10 图片自动上色：Colornet
2.1.11 生成可爱的动漫头像：AnimeGAN
2.1.12 骡子变斑马：CycleGAN and pix2pix in PyTorch
2.1.13 强大的图像生成器：DiscoGAN in PyTorch
2.1.14 使用RNN生成手写数字：DRAW implmentation
2.1.15 使用CNN来放大图片：waifu2x
2.2 看图说话
2.2.1 根据图片生成一段描述：Show and Tell
2.2.2 根据图片讲故事：neural-storyteller
2.2.3 根据图片将故事2:NeuralTalk2
2.2.4 识别图片中的文字：CRNN for image-based sequence recognition
2.3 图像识别
2.3.1 用于物体识别的全卷积网络：PyTorch-FCN
2.3.2 引入注意力的卷积网络：Attention Transfer
2.3.3 物体识别实例：Deep-Learning
2.3.4 物体识别API：Tensorflow Object Detection API
2.3.5 推理场景结构：SfMLearner
2.3.6 用于分辨色情图像的open_nsfw
2.3.7 人脸识别：Open Face
2.3.8 易用人脸识别：Face_recognition
2.3.9 快速人脸识别：MobileID
2.3.10 图像识别框架1：AlexNet & VGG Net & GoogleNet & ResNet
2.3.11 图像识别框架2：ResNeXt & RCNN & YOLO & SqueezeNet & SegNet
2.3.12 预训练的图像识别模型：functional-zoo
2.3.13 预定义的CNN过滤器： PyScatWave
2.3.14 计算图片中物体的相似度：Conditional Similarity Networks (CSNs)
2.3.15 量子化学中的神经信息传递(･_･;Neural Message Passing for Quantum Chemistry
2.4 图像理解
2.4.1 Visual Question Answering in Pytorch
2.4.2 Facebook看图答题：Clevr-IEP
图像生成
绘画风格到图片的转换：Neural Style
https://github.com/jcjohnson/neural-style
这个项目是用 Torch 对 Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge 等人的论文“A Neural Algorithm of Artistic Style”的一个实现。论文中提出一种算法，用卷积神经网络将一幅图像的内容与另一幅图像的风格进行组合。
图像类比转换：image-analogies
https://github.com/awentzonline/image-analogies
“神经图像类比”（neural image analogies）这个项目基本上是 A. Hertzmann et. al（2001）的论文“Image Analogies”的一个实现。在这个项目中，我们使用了 VGG16 的特征，利用 Chuan Li, Michael Wand (2016) 的论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中描述的方法进行patch的匹配和混合。初始代码改编自 Keras 的“神经风格迁移”示例。
根据涂鸦生成图片：Neural Doodle
https://github.com/alexjc/neural-doodle
使用深度神经网络把你的二流涂鸦变成艺术一般的作品！这个项目是 Champandard（2016）的论文 “Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks”的一个实现，基于 Chuan Li 和 Michael Wand（2016）在论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中提出的 Neural Patches 算法。
匹根据涂鸦类比图片：Sketchy
https://github.com/janesjanes/sketchy
这个项目可以根据用户手绘的涂鸦，匹配出类似的图片。
根据图片生成铅笔画：Pencil
https://github.com/fumin/pencil
把一副图像变成铅笔水粉画。
手写文字模拟：rnnlib
https://github.com/szcom/rnnlib
这个项目可以做到手写文字模拟。
转换风景图片：Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes
这个项目可以识别和理解图片中的风景，并且可以根据用户提出的条件，定向改变原风景画中的环境（比如more night）
图片变Emojis表情：What emojis will the Emojini 3000 grant your photos?
http://engineering.curalate.com/2016/01/20/emojinet.html
将用户提供的图片转化成相关的表情图标
增加图片分辨率：srez
https://github.com/david-gpu/srez
srez（super-resolution through deep learning），即通过深度学习实现图像超分辨率。这个项目是利用深度学习将 16x16 的图像分辨率增加 4 倍，基于用来训练神经网络的数据集，所得到的图像具有鲜明的特征。
图片自动上色：Colornet
https://github.com/pavelgonchar/colornet
Colornet 是一个给灰度图像自动上色的神经网络。
生成可爱的动漫头像：AnimeGAN
https://github.com/jayleicn/animeGAN
使用PyTorch实现的GAN，可以自定义生成漂亮的动漫妹子头像，附带训练数据集哦！
骡子变斑马：CycleGAN and pix2pix in PyTorch
https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix.git
图到图的翻译，著名的 CycleGAN 以及 pix2pix 的PyTorch 实现。
强大的图像生成器：DiscoGAN in PyTorch
https://github.com/carpedm20/DiscoGAN-pytorch.git
《Learning to Discover Cross-Domain Relations with Generative Adversarial Networks》的 PyTorch 实现。
使用RNN生成手写数字：DRAW implmentation
https://github.com/skaae/lasagne-draw
使用RNN生成手写体数字。
使用CNN来放大图片：waifu2x
https://github.com/nagadomi/waifu2x
使用CNN来放大图片，与普通图片放大不同的是，使用CNN“生成”放大，使低分辨率的图片在放大后也不会出现像素锯齿。
看图说话
根据图片生成一段描述：Show and Tell
https://github.com/tensorflow/models/tree/master/im2txt
这是 Oriol Vinyals et. al.（2016）的论文“Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge”的用TensorFlow实现的 image-to-text 图片说明生成模型。
根据图片讲故事：neural-storyteller
https://github.com/ryankiros/neural-storyteller
Neural-storyteller 是一个能够根据图像内容生成一个小故事的循环神经网络。这个 GitHub 库里包含了使用任意图像生成故事的代码，以及用于训练新模型的说明。
根据图片将故事2:NeuralTalk2
https://github.com/karpathy/neuraltalk2
循环神经网络（RNN）可以用于给图像取标题。NeuralTalk2 比原始版本的 NeuralTalk 更快而且性能更好。与原来的 NeuralTalk 相比，NeuralTalk2 的实现是批量的，可以使用 Torch 在 GPU上运行，并且支持 CNN 微调。这些都使得语言模型（~100x）的训练速度大大加快，但由于我们还有一个 VGGNet，因此总体上的提升没有很多。但是这仍然是个好模型，可以在 2~3 天里训练好，而且表现出的性能非常好。
识别图片中的文字：CRNN for image-based sequence recognition
https://github.com/bgshih/crnn.git
这个是 Convolutional Recurrent Neural Network (CRNN) 的 PyTorch 实现。CRNN 由一些CNN，RNN和CTC组成，常用于基于图像的序列识别任务，例如场景文本识别和OCR。
图像识别
用于物体识别的全卷积网络：PyTorch-FCN
https://github.com/wkentaro/pytorch-fcn.git
一个性能出众的物体识别全卷积神经网络，使用PyTorch实现。
引入注意力的卷积网络：Attention Transfer
https://github.com/szagoruyko/attention-transfer.git
论文 “Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer” 的PyTorch实现。
物体识别实例：Deep-Learning
https://github.com/priya-dwivedi/Deep-Learning/blob/master/Object_Detection_Tensorflow_API.ipynb
一个基于Ipython Notebook的物体识别实例，使用了Tensorflow Object Dectection API
物体识别API：Tensorflow Object Detection API
https://github.com/tensorflow/models/tree/master/object_detection
Google Tensorflow Object Dectection API 的开源代码。
推理场景结构：SfMLearner
https://github.com/tinghuiz/SfMLearner
用单张图片推理场景结构：UC Berkeley提出3D景深联合学习方法
用于分辨色情图像的open_nsfw
https://github.com/yahoo/open_nsfw
这是雅虎构建的用于检测图片是否包含不适宜工作场所（NSFW）内容的深度神经网络项目，GitHub 库中包含了网络的 Caffe 模型的代码。检测具有攻击性或成人内容的图像是研究人员进行了几十年的一个难题。随着计算机视觉技术和深度学习的发展，算法已经成熟，雅虎的这个模型能以更高的精度分辨色情图像。 由于 NSFW 界定其实是很主观的，有的人反感的东西可能其他人并不觉得如何。雅虎的这个深度神经网络只关注NSFW内容的一种类型，即色情图片，所以该模型不适用于检测素描、文字、动画、暴力图片等内容。
人脸识别：Open Face
https://github.com/cmusatyalab/openface
OpenFace 是一个使用深度神经网络，用 Python 和 Torch 实现人脸识别的项目。神经网络模型基于 Google Florian Schroff 等人的 CVPR 2015 论文“FaceNet: A Unified Embedding for Face Recognition and Clustering” ，Torch 让网络可以在 CPU 或 CUDA 上运行。
易用人脸识别：Face_recognition
https://github.com/ageitgey/face_recognition#face-recognition
这也提供了一个简单的 face_recognition 命令行工具，你可以打开命令行中任意图像文件夹，进行人脸识别！
快速人脸识别：MobileID
https://github.com/liuziwei7/mobile-id
据说是个超级快速的人脸识别程序，可以用在手机上
图像识别框架1：AlexNet & VGG Net & GoogleNet & ResNet
AlexNet
https://gist.github.com/JBed/c2fb3ce8ed299f197eff
VGG Ne
https://github.com/fchollet/keras/blob/master/keras/applications/vgg16.py
GoogleNet
https://github.com/fchollet/keras/blob/master/keras/applications/inception_v3.py
ResNet
https://github.com/fchollet/keras/blob/master/keras/applications/resnet50.py
图像识别框架2：ResNeXt & RCNN & YOLO & SqueezeNet & SegNet
ResNeXt
https://github.com/titu1994/Keras-ResNeXt
RCNN (基于区域的 CNN)
https://github.com/yhenon/keras-frcnn
YOLO (You Only Look once)
https://github.com/allanzelener/YAD2K
SqueezeNet
https://github.com/rcmalli/keras-squeezenet
SegNet
https://github.com/imlab-uiip/keras-segnet
预训练的图像识别模型：functional-zoo
https://github.com/szagoruyko/functional-zoo.git
由PyTorch和Tensorflow实现的常用图像识别模型包含预训练参数。
预定义的CNN过滤器： PyScatWave
https://github.com/edouardoyallon/pyscatwave
一套预定义的filter，用于增强图像识别的效果。
计算图片中物体的相似度：Conditional Similarity Networks (CSNs)
https://github.com/andreasveit/conditional-similarity-networks.git
《Conditional Similarity Networks》的PyTorch实现，可以根据不同的条件计算图片中物体的相似度。
量子化学中的神经信息传递(･_･;Neural Message Passing for Quantum Chemistry
https://github.com/priba/nmp_qc.git
论文《Neural Message Passing for Quantum Chemistry》的PyTorch实现，讲的是量子化学里的神经信息传递！听起来碉堡了。
图像理解
Visual Question Answering in Pytorch
https://github.com/Cadene/vqa.pytorch.git
一个PyTorch实现的优秀视觉推理问答系统，是基于论文《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》实现的。项目中有详细的配置使用方法说明。
Facebook看图答题：Clevr-IEP
https://github.com/facebookresearch/clevr-iep.git
Facebook Research 论文《Inferring and Executing Programs for Visual Reasoning》的PyTorch实现，讲的是一个可以基于图片进行关系推理问答的网络。
扫一扫
6701
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
