一、什么是神经网络?
在房屋价格预测的模型中,描点部分可以用一条直线拟合,但是由于价格不能为负数,所以用到“修正线性单元”
R
e
L
U
ReLU
ReLU函数实现size
−
>
->
−>price的映射。
如果说有很多类似于size的输入(比如房间数、邮编、经济水平),即把单个的神经元堆叠起来,构成更大的神经网络。
左边即是输入层,由我们输入;中间是隐藏单元,连接数很高,神经网络自己决定每个节点具体是什么;右边即是输出层,神经网络非常擅长计算从x到y的精准映射函数。
二、监督学习
目前为止,几乎所有由神经网络创造的经济价值,都是基于一种机器学习——监督学习。
(一)常见神经网络模型
- NN:神经网络(预测等)
- CNN:卷积神经网络(图像处理)
- RNN:循环神经网络(善于处理一维序列数据,包含时间成分)
(二)结构化与非结构化数据
- 人类更容易理解非结构化的数据
- 机器更容易理解结构化的数据
- 基于深度学习,机器越来越容易理解非结构化的数据
三、深度学习的兴起
(一)规模!
纵坐标表示深度学习的表现效果,横坐标表示深度学习的数据规模。
- 随着数据规模越来越大,深度学习表现越来越好
- 随着神经网络规模越来越大,深度学习表现越来越好
- 训练集较小的时候,各种算法的优劣并不明确;而在大数据领域,神经网络稳定地领先其他算法
(二)三个影响因素
- Data 数据
- Computation 计算能力
- Algorithms 算法
从 s i g m o i d sigmoid sigmoid函数到 R u L U RuLU RuLU函数:
s ( x ) = 1 1 + e − x . s(x)=\frac{1}{1+e^{-x}}. s(x)=1+e−x1.
该函数在机器学习中的问题是 两侧图像斜率为0即梯度为0,所以学习率会非常缓慢。
改变激活函数为修正线性单元
R
u
L
U
RuLU
RuLU函数:
f
(
x
)
=
m
a
x
(
0
,
x
)
.
f(x)=max(0,x).
f(x)=max(0,x).
从而使用梯度下降法时学习速率更快。