走进深度学习的世界

名词介绍

• 人工智能(AI)

  • 目的：让机器人完成人类的智能工作
  • 强AI（Strong AI）或通用AI（Artificial General Intelligence, AGI）
  • 常见领域：
  1. 计算机视觉(Computer Vision, CV): 图像分类、图像分类+画框、物体检测、图像分割
  2. 自然语言处理(Natural Language Processing, NLP): 机器翻译、语音助手
  3. 机器学习(Machine Learning) ⚠️专家系统，即机器人用人类定义的规则进行逻辑推理，只属于AI不属于机器学习。

• 机器学习(Machine Learning)

  • 目的：让机器从训练数据中自动进步，从经验中自动学习
  • 例子：2017年卡内基梅隆的冷扑大师
  • 重要领域：
    • 深度学习(Deep Learning) ⚠️在深度学习没有提出之前，比较流行的支持向量机(SVM)属于机器学习
    • 强化学习(Reinforcement Learning)
    • 深度强化学习/深度神经网络强化学习（两者的结合）
    • 预测学习(Predictive Learning)：一般利用深度神经网络，例如可以输入一张图像预测其后续的发展。

• 强化学习(Reinforcement Learning)

  • 目的：让机器在环境中逐渐学会正确策略，最终获得最大利益。
  • 例子：让机器自动学会玩游戏，在游戏结束时取得尽可能高的分数。

• 总结：

神经网络分类及一些名词

• 神经网络（Neural Network, NN）
  • 人工神经网络（Artifitial Neural Network, ANN）
  • 生物神经网络（Biological Neural Network）
• 深度神经网络：具有很多层的神经网络
• 架构：
  • 卷积神经网络（Convolutional Neural Netwrok, CNN）
  • 前馈神经网络（Feedfoward Neural Network）
    • 包括多层感知机(Multilayer Perceptron, MLP)
  • 循环神经网络（Recurrent Neural Network, RNN）
    • 长短期记忆网络 (Long-Short Term Memory, LSTM)
    • GRU(Grated Recurrent Unit)
• 泛化(generalization)和过拟合(over-fitting)

一些思路：

1. 当数字变形较大的情况可以通过改进网络架构或者数据增强来解决

人工智能的两大学派：逻辑与统计

1. 符号主义(Symboism) / 计算主义(Computationalism) / 逻辑主义(Logicism):

• 例子: 知识图谱、专家系统

2. 统计主义: 例子

• 例子: 连接主义(connectionism) 智能需要模拟生物大脑的神经元结构

应用：

从数据A到答案B,“端对端”(end-to-end)的学习。而传统的架构是基于规则(rule-based)或者说“分而治之”(devide and conquer)

1. 医学：医学影像–>诊断
2. 自动上色(Colorization)：黑白图像–>彩色图像
3. 超分辨率(super-resolution)：小图–>清晰大图
4. 机器翻译: 目前最新的深度神经网络(见论文6, 7)已经可以通过充足的AB语言资料，无须给出任何AB语言之间翻译的例句，网络就能自动找到A语言和B语言之间翻译的方法。
5. 情感分析：用户评论–>好评度 (LSTM的例子)
6. 自动水军：微博–>评论（一个循环神经网络的例子）
7. 综合应用：图像+问题–>答案(Google DeepMind)

一些网页版的Demo：

1. TensorFlow:
2. 手写数字识别LeNet-5
3. 围棋
4. 简笔画一个基于RNN架构的网络
5. 用GAN生成动漫头像

一些GitHub的project：

1. Colorful Image Colorization：具体代码
2. 超分辨率(super-resolution):
   • ESPCN网络
   • SRResNet
3. 机器翻译：https://github.com/facebookresearch/fairseq

一些论文：

1. Mask R-CNN
2. Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning
3. Colorful Image Colorization
4. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial
   Network
5. Neural Responding Machine for Short-Text Conversation
6. Unsupervised Neural Machine Translation
7. Unsupervised Machine Translation Using Monolingual Corpora Only