深度学习笔记（一）深度学习概论

一、什么是神经网络？

在房屋价格预测的模型中，描点部分可以用一条直线拟合，但是由于价格不能为负数，所以用到“修正线性单元”$ReLU$函数实现size$->$price的映射。


如果说有很多类似于size的输入（比如房间数、邮编、经济水平），即把单个的神经元堆叠起来，构成更大的神经网络。

左边即是输入层，由我们输入；中间是隐藏单元，连接数很高，神经网络自己决定每个节点具体是什么；右边即是输出层，神经网络非常擅长计算从x到y的精准映射函数。

二、监督学习

目前为止，几乎所有由神经网络创造的经济价值，都是基于一种机器学习——监督学习。

（一）常见神经网络模型

• NN：神经网络（预测等）
• CNN：卷积神经网络（图像处理）
• RNN：循环神经网络（善于处理一维序列数据，包含时间成分）
  

（二）结构化与非结构化数据

• 人类更容易理解非结构化的数据
• 机器更容易理解结构化的数据
• 基于深度学习，机器越来越容易理解非结构化的数据

三、深度学习的兴起

（一）规模！

纵坐标表示深度学习的表现效果，横坐标表示深度学习的数据规模。

• 随着数据规模越来越大，深度学习表现越来越好
• 随着神经网络规模越来越大，深度学习表现越来越好
• 训练集较小的时候，各种算法的优劣并不明确；而在大数据领域，神经网络稳定地领先其他算法

（二）三个影响因素

• Data 数据
• Computation 计算能力
• Algorithms 算法
  从$sigmoid$函数到$RuLU$函数：
  $s(x)=\frac{1}{1+e^{-x}}.$
  

该函数在机器学习中的问题是 两侧图像斜率为0即梯度为0，所以学习率会非常缓慢。
改变激活函数为修正线性单元$RuLU$函数：
$f(x)=max(0,x).$

从而使用梯度下降法时学习速率更快。