1.感知机
感知机是二类分类的线性分类模型;
感知机不能解决XOR问题;参见李沐教学
2.多层感知机
在后面的神经网络中,一般输入维数比第一个隐藏层少,即对输入扩维,然后隐藏层依次减少;但也有对输入降维的,比较少,易丢失特征,。
3.激活函数
sigmoid通常称为**挤压函数**(squashing function): 它将范围(-inf, inf)中的任意输入压缩到区间(0, 1)中的某个值
4.
隐藏层中,选择2的若干次幂作为层的宽度。 因为内存在硬件中的分配和寻址方式,这么做往往可以在计算上更高效。