DL

1. perceptron： A perceptron takes several binary inputs, x1,x2,…, and produces a single binary output:
输入是二元（只有0,1）的变量，然后输出也是一个二元变量。

也可以有多个输出

sigmoid neuron

将perceptrons 做一点改变

sigmoid神经元的输出不是0或者1，而是0和1之间的任何值。比如说，0.638…。同样地，sigmoid神经元的每个输入x也是有权重w和偏置b。那么现在输出变成了，称为sigmoid函数（还有个名字叫logistic函数），定义为

σ(z)≡11+e−z

所以，输入为，权重为以及偏置为b的sigmoid的神经元的输出为：

1 1+exp(−∑jwjxj−b) 1 1+exp(−∑jwjxj−b) 1 1+exp(−∑jwjxj−b)

1 1+exp(−∑jwjxj−b) 11+exp(−∑jwjxj−b)

输入  很大的正数z≡w⋅x+b那么sigmoid神经元的输出就接近1，就和之前说的感知机一样。另外一方面，我们假设 是非常小的负数（绝对值大）输出就为0 那么sigmoid神经元的输出就接近1，就和之前说的感知机一样。另外一方面，我们假设是非常小的负数（绝对值大）