深度学习激活函数

---

1 分类

人在思考的过程中，往往不会产生精确的数值估计，而常做的事情是分类。


但是这种阶跃函数就不能拟合出一条回归的直线了，这么画都感觉误差很大

这样时是不是好多了

那么怎么表示这样的关系呢？机制如你，想到分段函数：

远的不说，这个大括号看着就很头疼，看着就是个不好处理的家伙。

我们接下来，看一种更为优雅的Logistic函数：

不过我们一般会采用标准的Logistic函数，L=1，k=1，y0=0

可以看出来这个函数的计算结果始终在0到1之间，他的名字也暗示了这一点：很适合做逻辑判断，即分类。

知识补充：

此时这里函数关系为：

2 函数求导进行求解出最小代价函数

接下来，我们按照之前的方法，分别e对w、b求偏导，然后合成：

补充Logistic函数的求导：

理解复合函数求导中从外到内的这一过程，这有助于我们后续理解神经网络的精髓：

3 代码实现

豆豆数据集模拟：dataset.py

import numpy as np

def get_beans(counts):
	xs = np.random.rand(counts)
	xs = np.sort(xs)
	ys = np.zeros(counts)
	for i in range(counts):
		x = xs[i]
		yi = 0.7*x+(0.5-np.random.rand())/50+0.5
		if yi > 0.8:
			ys[i] = 1
	return xs,ys

豆豆毒性分布如下：

加入激活函数后的梯度随机下降算法：activation.py

import dataset
import matplotlib.pyplot as plt
import numpy as np

# 豆豆数量m
m = 100
xs, ys = dataset.get_beans(m)

# 配置图像
plt.title("Size-Toxicity Function", fontsize=12)
plt.xlabel("Bean Size")
plt.ylabel("Toxicity")
plt.scatter(xs, ys)

w = 0.1
b = 0.1
z = w * xs + b
a = 1 / (1 + np.exp(-z)) # 加入激活函数
plt.plot(xs, a)
plt.show()

# alpha为学习率
alpha = 0.01
# 训练5000次
for _ in range(5000):
    for i in range(100):
        x = xs[i]
        y = ys[i]
        # 三个函数
        z = w * x + b
        a = 1 / (1 + np.exp(-z))
        e = (y - a) ** 2
        # 对w和b求偏导
        deda = -2 * (y - a)
        dadz = a * (1 - a)
        dzdw = x
        dzdb = 1

        dedw = deda * dadz * dzdw
        dedb = deda * dadz * dzdb

        w = w - alpha * dedw
        b = b - alpha * dedb

    if _ % 100 == 0:
        # 绘制动态
        plt.clf()  ## 清空窗口
        plt.scatter(xs, ys)
        z = w * xs + b
        a = 1 / (1 + np.exp(-z))  # 加入激活函数
        plt.xlim(0, 1)
        plt.ylim(0, 1.2)
        plt.plot(xs, a)
        plt.pause(0.01)  # 暂停0.01秒