【深度学习-吴恩达】L1-1 深度学习概论

L1 深度学习概论

1 深度学习概论

1.1 欢迎

• AI is the new Electricity
• 机器学习能使计算机能够在没有明确编程的情况下学习

1.2 什么是神经网络

房屋面积与价格预测

• 线性回归

  • Size(x) -> ⚪ ->Prize，单神经元网络
  • ⚪：neuron，神经元
  • 不为0：ReLU函数，修正线性单元，修正指不小于0

• 多神经元网络

  • 

1.3 用神经网络进行监督学习

监督学习，Supervised Learning

• 房屋价格预测
• 广告投送
• 计算机视觉
  • CNN
• 语音识别
  • 一维时间序列
  • RNN
• 机器翻译
  • 序列数据
  • RNN
• 无人驾驶技术
  • CNN
  • 混合的神经网络结构

几种基本的神经网络结构

• 标准的神经网络

  

• CNN

  

• RNN

  

是否结构化数据

• structured data
  • 清晰定义的数据库
• unstructured data
  • 语音、图像、文本

神经网络改变了监督学习

1.4 神经网络为什么兴起

数据量增加

各类电子器件价格降低

传统机器学习难以应付大量数据量，会遇到瓶颈

m：训练集的规模

Scale drives deep learning progress

• Data
• Computation
• Algorithms
  • Sigmoid
    • 
    • 当斜率接近0时，学习会缓慢
      • 使用梯度下降法时候，接近0时，参数变化缓慢
  • ReLU
    • 斜率不会趋近0

1.5 关于这门课

L1课程大纲

• 深度学习概论
• 神经网络基础
• 浅层神经网络
• 深层神经网络