第一门课_神经网络和深度学习_第一周_深度学习引言

1.1 深度学习简介

1.2 神经网络

激活函数：sigmoid、tanh、ReLU
输入层·、输出层、隐藏层

1.3 神经网络的监督学习

CNN convolutional neural network 卷积神经网络 图像
RNN recurrent neural network 循环神经网络 与时间有关的序列
结构化与非结构化数据：
结构化：数据库数据，每个特征都有明确的定义
非结构化：图像、文本等数据，特征可能是像素、单词等等

1.4 深度学习兴起

数据规模越来越大、计算水平越来越高以及算法的创新

传统机器学习方法数据量到达一定程度时，随着数据量的增加，函数变化程度小，性能不再提高；而深度学习的方法随着数据的增加，函数不断变化，性能越来越好。

算法方面：激活函数从Sigmoid到ReLU（修正线性单元）
Sigmoid的梯度会逐渐趋近于0，学习过程会很缓慢；ReLU（输入非负时）的梯度恒定为1。这对于梯度下降法有利。

快速计算缩短了修改神经网络框架的周期。

1.5 关于这门课