sigmoid函数原理解释

def sigmoid(z):
  return 1/1+np.exp(-z)

要理解sigmoid函数，首先明白线性特征归一化的函数为:

$$X_{norm}=X-X_{min}/X_{max}-X_{min}$$

$$1.X-X_{min}得到当前值的Y轴去掉截距的水平高度$$

$$2.X_{max}-X_{min}得到数据集的极差，当X-X_{min}除以当前数据集的极差，也就显示了当前X_{}在数据集里的高度分位，也就是X_i在Y轴高度的比例。$$

而sigmoid之所以可以表示的$$X_i$$是X矩阵的概率归一化的原因是：

$$概率的整体密度是1,X向量作为常数的指数向量的时候，得到就是函数的整体在Y轴的反向比例$$

exampleX = (np.random.randn(100))
plt.figure(figsize=(8,8))
plt.plot(np.exp(-exampleX),c='g')
plt.plot(exampleX,c='r')
plt.plot(np.zeros_like(exampleX),'black')
plt.plot(np.ones_like(exampleX),'black')

当$$1+e^X$$ 时，可以消除比例相反的问题

plt.figure(figsize=(8,8))
plt.plot(1+np.exp(-exampleX),c='g')
plt.plot(exampleX,c='r')
plt.plot(np.zeros_like(exampleX),'black')
plt.plot(np.ones_like(exampleX),'black')

所以用 $$1/1+e^X$$ 就可以得到向量的概率归一化,yhat的值在正负1之间

plt.figure(figsize=(8,8))
plt.plot(1/(1+np.exp(-exampleX)),c='g')
plt.plot(exampleX,c='r')
plt.plot(np.zeros_like(exampleX),'black')
plt.plot(np.ones_like(exampleX),'black')

用一个序列函数则可以更好的表明它

examplearray = np.arange(-10,10,0.1)
plt.figure(figsize=(8,8))
plt.plot(1/(1+np.exp(-examplearray)),c='g')
plt.plot(np.zeros_like(examplearray),'y')
plt.plot(np.ones_like(examplearray),'y')