正则化理论（二）

最新推荐文章于 2021-08-30 19:16:40 发布

柳叶吴钩

最新推荐文章于 2021-08-30 19:16:40 发布

阅读量407

点赞数

分类专栏：神经网络与机器学习笔记文章标签：正则化

本文链接：https://blog.csdn.net/moge19/article/details/84996331

版权

神经网络与机器学习笔记专栏收录该内容

40 篇文章 11 订阅

订阅专栏

1、正则化网络
每个隐藏单元的激活函数由Green函数定义
$G(x,x_i) = exp(- \frac{1}{2\sigma _i ^2}||x-x_i||^2) \tag {式1}$
2、广义径向基函数网络
$F^*(x) = \sum _{i=1}^{m_1} w_i \varphi(x,t_i)$
$\varphi(x,t_i) = G(||x-t_i||)$

在这里插入图片描述
$F^*(x) = \sum _{i=1}^{m_1} w_i \varphi(x,t_i) = \sum _{i=1}^{m_1} w_i G(x,t_i)= \sum _{i=1}^{m_1} w_i G(||x-t_i||)$
新的代价函数：
其中：

$||DF^*||^2 = <DF^*，DF^*>_H = [\sum _{i=1} ^ {m_1} w_iG(x,t_i),\tilde{D}D\sum _{i=1}^{m_i}w_i G(X,t_i)]_H$
$=[\sum _{i=1} ^{m_1} w_iG(X,t_i),\sum _{i=1}^{m_1} w )\delta_{t_i} ]_H = \sum_{j=1}^{m_1} \sum_{i=1}^{m_1}w_j w_iG(t_j,t_i)=W^TG_0W$
3、加权范数
$X|| _C ^2 = (CX)^T(CX) = X^TC^TCX$
$F^*(x) = \sum _{i=1}^{m_1} w_i G(||x-t_i||_c)$

一个以 $t_i$ 为中心和具有范数加权矩阵C的高斯径向基函数 $G(||X-t_i||_c)$ 可写成
$G(||X-t_i||_c = exp(-(X-t_i)^TC^TC(X-t_i)] = exp[-\frac{1}{2}(X-t_i)^T \Sigma ^{-1} (X-t_i) ]))$
$\frac{1}{2} \Sigma ^{-1} = C^TC$