Deep Learning

学习目标：

• 掌握并理解神经网络的各个组成理解activation function中的Sigmoid函数和ReLU函数

---

学习内容：

1. 利用Sigmoid函数拟合你想要的曲线
2. Sigmoid函数的组成
3. 定义损失函数
4. 用ReLU函数替换Sigmoid函数

流程如下：

sigmoid函数如下图所示：
函数表达式如下：

上面的参数分别决定该曲线的高度、左右平移、斜率。如下图所示:

用Sigmoid函数去拟合一条曲线：
当线性曲线无法拟合时采用更加灵活的Sigmoid function
表示3个sigmoid函数求和

把其转换为矩阵的形式

一个完整的形式

建立一个神经网络的步骤：

构造损失函数：

将所有数据分成多个batch，计算每个batch的损失函数

每次更新一次参数叫做一次updata，更新完所有updata叫做一次epoch
用ReLU来表示Sigmoid函数

两个ReLU表示一个Sigmoid，ReLU和Sigmoid同称为activation function

可以使用一连串的activation function来对数据进行处理