常用的是RBF(Radial Basis Function)核函数(也称为高斯核函数)
什么是径向基核函数:x到指定中心(原点)和指定一点(C_i)距离的函数形式。或者说是:某种沿径向对称的标量函数。
RBF函数形式如下:
或者
其中,c_i是指定中心点,而则代表RBF函数的作用范围,值越小,说明作用范围越宽,反之则越窄。
或者
核函数的性质:
1 取值范围在0-1之间。
2 一种相似度度量方法
3 核函数的标识空间有无穷多维
4 支撑集(支集)较小,影响范围较小,对于给定样本,只对样本的附近样本有影响,存在【局部响应特性】。
5 实现非线性映射
6 参数较少,模型复杂度简单(对比多项式核函数,多项式核函数的参数较多,调参困难)
RBF神经网络:采用RBF核函数作为激活函数的神经网络(neural network)。
和BP神经网络的区别:
1 需要事先确定样本中心点数目、位置,核函数的宽度
2 input和hidden通过节点和中心点距离连接,而非常见的w和b。
3 RBF神经网络是单层神经网络,难以全局逼近最优解。
参考:
RBF神经网络和BP神经网络有什么区别?
https://www.zhihu.com/question/44328472
https://blog.csdn.net/zqx951102/article/details/89461889
更多学习笔记可以关注我的微信公众号「kelly学挖掘」,欢迎交流。
-- 未完待续 --