本文是针对图书《神经网络与机器学习》中文版和国立台湾大学林轩田老师《机器学习》课程的总结笔记,内容方面既有对于该课程的理解又有对于该课程的参考,不足之处颇多,还希望大家阅后不吝赐教。
1. 感知机、sigmoid神经元与逻辑回归之间的关系
1.1 感知机
感知机是由科学家Frank Rosenblatt发明于1950至1960年代,它受到了Warren McCulloch 和Walter Pitts的更早工作的启发。其具体结构如图1所示
图1. 感知机结构示意图
其中的
x
是感知机的输入,一个感知机还可以有更多的输入,但这些输入都必须是二进制的输入;
感知机的输出是1还是0主要通过下式进行判断
output=⎧⎩⎨⎪⎪⎪⎪⎪⎪0if ∑jwjxj≤ threshold1if ∑jwjxj> threshold
我们可以将感知机的书写方法进行简化,首先将上式中的求和运算用向量相乘的形式进行表示,其次用偏移值 b (bias)来代替阈值threshold,于是感知机的表达形式可以写成如下的形式
1.2 sigmoid神经元
sigmoid神经元与感知机相比做了一些修改,使得它在轻微改变其权值和偏移时只会引起小幅度的输出变化,进而防止轻微改变网络中任何一个感知机的权值或偏移有时甚至会导致感知机的输出完全翻转,并且可能以某种非常复杂的方式彻底改变网络中其余部分的现象出现。
sigmoid神经元的具体形式如图2所示
图2. sigmoid神经元结构示意图
它的数学表达形式为
⎧⎩⎨⎪⎪⎪⎪⎪⎪z=∑jwjxj+ba=11+e−z
其中sigmoid函数的图像及阶梯函数(阶跃函数)的图像如图3所示
图3. sigmoid函数图像及阶梯函数(阶跃函数)图像
将sigmoid神经元中的sigmoid函数换为阶梯函数(阶跃函数)即可以得到之前介绍的感知机,因此感知机与sigmoid神经元是十分相似的。不同的地方在于sigmoid函数使我们就得到了一个平滑的感知机,也正是因为这个平滑的感知机使得选择权值(w)和偏移(b)的轻微改变量并使输出按照预期发生小幅度变化成为易事。