（一）深度学习入门——基于Python理论与实现

第三章 神经网络

• 机器学习的问题大体上可以分为回归问题和分类问题；
• sigmoid函数
  
  h(x) = 1/(1+exp(-x))
  exp(-x)表示
  可用 math.exp(-x) 计算
  图形：
  
• ReLU函数
  h(x) = x (x > 0)
  h(x) = 0 (x <=0)
  图形：
  

• softmax函数
  
  分子是输入信号的指数函数，分母是所有输入信号指数函数的和；

• 激活函数
  一般地，回归问题可以使用恒等函数；二元分类问题可以使用sigmoid函数；多元分类问题可以使用softmax函数；