径向基网络函数(最小二乘法)python实现）

已于 2024-05-19 14:46:44 修改
阅读量993 收藏 14
点赞数 25
文章标签： python 开发语言
于 2024-04-27 15:34:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71838992/article/details/138245071
版权

目录

简介：

1 重要组成部分：

1.1 径向基函数：

1.2 RBF神经网络结构：

1.2.1 RBF构架：

1.2.2 输入层：

1.2.3 隐含层：

1.2.4 输出层：

2 工作流程图：

3 径向基代码展示:

4 RBF代码相关知识点

4.1 cdist（计算数组之间的距离）

4.2 np.std（标准差计算）

4.3 np.mean（平均值计算）

4.4 np.hstack(将数组在y轴上堆叠即增加列数)

4.5 np.vstack(将数组在x轴上堆叠即增加行数)

简介：

       径向基网络函数最初，在1951年，Krige创新性地将矿藏的沉积视作一个各向同性且稳定的随机函数的实现，进而开发出了Kriging方法，这一方法后来在矿藏分析中得到了广泛应用。随后，在1985年，Michael J. D. Powell提出了径向基函数（Radial Basis Function, 简称RBF）用于多变量插值，这标志着RBF在数据处理领域的新突破。紧接着，1988年，Broomhead和Lowe将径向基函数应用于神经网络设计，从而催生了径向基函数（RBF）神经网络。这种神经网络结构独特，其特点在于仅包含一层隐藏层，且隐藏层的神经元激活函数正是径向基函数。而输出层则是对这些隐藏层神经元输出的线性组合，进一步增强了其处理复杂数据的能力。

1 重要组成部分：

1.1 径向基函数：

       某种沿径向对称的标量函数，通常定义为样本到数据中心之间径向距离（通常是欧氏距离）的单调函数（由于距离是径向同性的）。

\phi (x,c)=\phi (\left | \left | x-c\right | \right |)

        其中c为样本的中心点，||·||是欧几里得范数。

        常用得径向基函数——高斯函数。

\phi (r)=e^{-\frac{r^{2}}{\sigma _{2}}}

不同\sigma ^{2}=1，2，3，4绘制得高斯函数图像

1.2 RBF神经网络结构：

       用RBF作为隐层神经元的“基”构成隐含层空间，将输入向量直接映射到隐含层空间，将低维模式输入数据变换到高维空间内，使得在低维空间线性不可分问题在高维空间内线性可分。

1.2.1 RBF构架：

RBF神经网路结构图

1.2.2 输入层：

       输入节点个数等于输入向量 X_{i} 的维数 n， 输入层仅仅起到传输信号作用，输入层和隐含层之间可以看做连接权值为1的连接。

1.2.3 隐含层：

       由“基”构成隐藏层空间，将输入矢量直接(不通过权连接)映射到隐空间。设隐层节点个数为 h，若基函数选择高斯函数，则第j个隐层节点的隐层输出为。

\phi (X_{i})=e^{-\frac{||X_{i}-C_{j}||^{2}}{2\sigma _{j}^{2}}}

C_{j}——第 j个径向基函数的中心，与 X_{j} 具有相同维度。

\sigma _{j}——第 j个隐层神经元的径向基函数宽度。

1.2.4 输出层：

       隐层节点输出的线性加权和。 从隐层到输出层之间的有权重，连接第 i个隐层节点和 第 j个输出层节点的权重为 W_{ij}，则第 j 个输出节点的输出为 Y_{j}。

y_{j}=\sum_{i=1}^{p}W_{ij}e^{-\frac{||X_{i}-C_{j}||^{2}}{2\sigma _{j}^{2}}}

2 工作流程图：

        聚类中心求取：详见Kmeans 不调用包python代码-CSDN博客

        标准差的求取：

\sigma _{i}=\frac{d_{max}}{\sqrt{2k}}

        k —— 隐层节点（中心）个数；
        d_{max}  —— 所选取中心点之间的最大距离。
        权值的求解（最小二乘法）：
   GW=D 
W=G'D
        W是对应的权重，G隐藏层输出，D输出层输出。

3 径向基代码展示:

import numpy as np
import pandas as pd
import math
from sklearn.cluster import KMeans
from scipy.spatial.distance import cdist
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
plt.rcParams["font.sans-serif"] = "SimHei"#汉字乱码的解决方法
class RBFNetwork:
    def __init__(self, num_rbf_neurons, num_output_neurons, sigma=1.0):
        self.num_rbf_neurons = num_rbf_neurons#径向基中心数量
        self.num_output_neurons = num_output_neurons#输出神经元的数量
        self.sigma = sigma#高斯函数的标准差参数
        self.centers = None#聚类中心
        self.weights = None#输出权重
    def errors(self,y,y_predict):
        y=np.array(y)
        y_predict=np.array(y_predict)
        return 1/2*math.sqrt(sum((y-y_predict)**2))

    def fit(self, X, y):
        kmeans = KMeans(n_clusters=self.num_rbf_neurons)
        kmeans.fit(X)#找到一组适当的中心点
        self.centers = kmeans.cluster_centers_#用kmeans找中心点位
        #计算标准差
        distances = cdist(X, self.centers)#计算所有点到中心点的距离!!!这里面对于只有一行的数据如[1,2,3]得改写成[[1,2,3]]
        self.sigma =np.std(distances, axis=0)#计算了所有聚类中心的距离标准差的平均值
        #计算中间层的值
        rbf_activations = np.exp(-cdist(X, self.centers) ** 2 / (2 * self.sigma ** 2))
        # 加上b偏置项，hstack两个矩阵相加
        rbf_activations = np.hstack([rbf_activations, np.ones((X.shape[0], 1))])
        # 权重的确定（最小二乘法）
        self.weights = np.linalg.lstsq(rbf_activations, y, rcond=None)[0]#GW=D--W=G'D
    def predict(self, X):
        rbf_activations = np.exp(-cdist(X, self.centers) ** 2 / (2 * self.sigma ** 2))
        rbf_activations = np.hstack([rbf_activations, np.ones((X.shape[0], 1))])
        return np.dot(rbf_activations, self.weights)

#程序运行
shuju2 = pd.read_excel(r'C://Users//86182//Desktop//iris.xlsx', sheet_name='Sheet1')
X= np.array(shuju2)[:, 0:4]
# min_max_scaler = preprocessing.MinMaxScaler()
# x = min_max_scaler.fit_transform(x)
y=np.array(shuju2)[:,4]
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.2,random_state=10)
# 创建并训练 RBF 网络
rbf_net = RBFNetwork(num_rbf_neurons=10, num_output_neurons=1)
rbf_net.fit(X_train, y_train)
y_predict=np.round(rbf_net.predict(X_test))
print(y_predict)
print(y_test)
print("本次预测的误差值为{}".format(rbf_net.errors(y_predict,y_test)))
#print(rbf_net.predict(np.array([[1,2,3,4]])))#注意这里如果只预测一个样本记得将他变成二维数组如[[1,2]]不能为[1,2]
#预测并绘制结果
t=[i for i in range(len(y_test))]
plt.plot(t, y_test, label='Actual')
plt.plot(t, y_predict, label='Predicted')
plt.xlabel("第几个样本")
plt.ylabel("标签值")
plt.title("预测和真实标签情况对比")
plt.legend()
plt.show()

4 RBF代码相关知识点

4.1 cdist（计算数组之间的距离）

from scipy.spatial.distance import cdist
a = np.array([[0, 0, 0], [0, 0, 1], [0, 1, 0], [0, 1, 1],[1, 0, 0],[1, 0, 1],[1, 1, 0],
[1, 1, 1]])
b = np.array([[ 0.1,  0.2,  0.4]])
cdist(a, b, 'cityblock')
#输出：array([[ 0.7], [ 0.9], [ 1.3], [ 1.5], [ 1.5], [ 1.7], [ 2.1], [ 2.3]])

4.2 np.std（标准差计算）

import numpy as np
a = np.array([[1, 2], [3, 4]])
print(np.std(a))            # 计算全局标准差 1.118033988749895
print(np.std(a, axis=0))    # axis=0计算每一列的标准差 [1. 1.]
print(np.std(a, axis=1))    # 计算每一行的标准差 [0.5 0.5]

4.3 np.mean（平均值计算）

a=[[1,2,3],[2,3,4],[3,2,1]]
print(np.mean(a))#2.3333.

4.4 np.hstack(将数组在y轴上堆叠即增加列数)

mport numpy as np
a=np.array([[1,2,3],[2,3,4],[3,4,5]])
c=np.array([[1],[2],[3]])
d=np.hstack((a,c))
print(d) #array([[1 2 3 1],[2 3 4 2], [3 4 5 3]]

4.5 np.vstack(将数组在x轴上堆叠即增加行数)

a=np.array([[1,2,3],[2,3,4],[3,4,5]])
c=np.array([[1,2,3]])
d=np.vstack((a,c))
print(d)
#array([[1 2 3]，[2 3 4]，[3 4 5]， [1 2 3]])

萌新学python记
关注
  • 25
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python自带rbf函数吗_径向基函数（RBF）神经网络
weixin_39737831的博客
12-08 1532
RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。简单说明一下为什么RBF网络学习收敛得比较快。当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时，这样的网络称为全局逼近网络。由于对于每次输入，网络上的每一个权值...
机器学习技法 之 径向基函数网络（RBF Network）
士杰的博客
05-02 2074
径向基函数网络（Radial Basis Function Network）：就是将基假设函数进行线性聚合。 径向基函数网络假设函数（RBF Network Hypothesis） 先回顾一下高斯支持向量机（Gaussian SVM）： gsvm(x)=sign⁡(∑SVαnynexp⁡(−γ∥x−xn∥2)+b) g _ { \mathrm { svm } } ( \mathbf { x } )...
Python实战开发及案例分析（10）—— 最小二乘法
最新发布
贾贾的博客
05-07 1439
最小二乘法是一种用于拟合数据的线性回归技术，它通过最小化残差平方和来找到最佳拟合线。通常用于估计线性关系，但也可以扩展到多元回归和非线性关系中。Python 提供了多种方式来实现最小二乘法，包括使用 NumPy、SciPy 和 scikit-learn。
python实现径向基核函数
moge19的专栏
10-20 8626
1、生成数据集（双月数据集） class moon_data_class(object): def __init__(self,N,d,r,w): self.N=N self.w=w self.d=d self.r=r def sgn(self,x): if(x>0): r...
RBF（径向基）神经网络
weixin_36670529的博客
06-16 7876
只要模型是一层一层的，并使用AD/BP算法，就能称作 BP神经网络。RBF 神经网络是其中一个特例。本文主要包括以下内容： 什么是径向基函数 RBF神经网络 RBF神经网络的学习问题 RBF神经网络与BP神经网络的区别 RBF神经网络与SVM的区别 为什么高斯核函数就是映射到高维区间 前馈网络、递归网络和反馈网络 完全内插法 一、什么是径向基函数 1985年，Powell提出了多......
径向基函数添加二次完全多项式预测代码.py
07-05
附件是径向基函数预测的代码，用Python编写，模型里添加了二次完全多项式程序，在采用二百个六维度的样本点训练预测时，误差在10%左右。
Python实现的径向基（RBF）神经网络示例
09-20
主要介绍了Python实现的径向基（RBF）神经网络,结合完整实例形式分析了Python径向基（RBF）神经网络定义与实现技巧,需要的朋友可以参考下
python自带rbf函数吗_Scipy径向基函数（scipy.interpolate.rbf）中的Python MemoryError
weixin_39762666的博客
12-08 514
I'm trying to interpolate a not-so-large (~10.000 samples) pointcloud representing a 2D surface, using Scipy Radial Basis Function (Rbf). I got some good results, but with my last datasets I'm consist...
python自带rbf函数吗_如何在Numpy中实现子采样RBF（径向基函数）？
weixin_39755873的博客
12-08 161
插值函数的缩放主要问题是插值函数的标准差选择不当：stddev = 100你的函数(它的峰)的大小约为1。所以，使用^{pr2}$X值的顺序之所以出现红线混乱，是因为matplotlib中的plt按给定的顺序连接连续的数据点。由于X值是随机顺序的，这将导致混乱的左右移动。使用排序的X：X = np.sort(low_x + (high_x - low_x) * np.random.rand(N,1...
matlab精度检验代码-RBF:Python软件包，其中包含径向基函数（RBF）应用程序所需的工具
05-21
matlab精度检验代码皇家空军 包含用于径向基函数（RBF）应用程序的工具的Python软件包。 应用包括内插散乱数据和求解不规则域上的偏微分方程（PDE）。 此软件包的大部分灵感来自Bengt Fornberg和Natasha Flyer的著作《径向基函数的底漆及其在地球科学中的应用》和Gregory Fasshauer的《 Matlab的无网格近似方法》。 可以找到此软件包的完整文档。 特征 RBF类，用于评估RBF及其精确导数 RBFInterpolant类，用于对分散的且可能有噪声的N维数据进行插值。 也可以评估插值的精确导数 weight_matrix函数，该函数生成径向基函数有限差分（RBF-FD）权重。 这用于解决不规则域上的大规模PDE 节点生成函数，例如min_energy_nodes和poisson_disc_nodes ，用于通过频谱RBF方法或RBF-FD方法求解PDE 用于两个和三个空间维度的计算几何函数（例如，多边形测试中的点） GaussianProcess类，用于高斯过程回归（GPR）。 GPR与RBF插值相似，但它具有贝叶斯统计基础 安装 RBF需要
基于python实现最近邻插值双线性插值径向基函数插值（代码实现详细教程）
01-13 2437
基于python实现最近邻插值双线性插值径向基函数插值（代码实现详细教程）
径向基函数
小孔明的专栏
11-15 2587
百度百科： 径向基函数是一个取值仅仅依赖于离原点距离的实值函数，也就是Φ（x）=Φ(‖x‖),或者还可以是到任意一点c的距离，c点称为中心点，也就是Φ（x，c）=Φ(‖x-c‖)。任意一个满足Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数，标准的一般使用欧氏距离（也叫做欧式径向基函数）。 https://blog.csdn.net/zouxy09/article/details/1329788...
【机器学习】径向基（RBF）神经网络的tensorflow实现
Luqiang_Shi的博客
12-10 1万+
【机器学习】RBF神经网络的tensorflow实现一、tensorflow简介1、基础概念1.1计算图1.2 Session会话2、应用流程二、RBF神经网络的tensorflow实现参考资料 一、tensorflow简介 1、基础概念 1.1计算图 Tensorflow是一个基于计算图（数据流图）的的数值计算系统，计算图是一个有向图，图中的节点代表数学计算操作的算子（函数），节点之间连接的边代...
最小二乘法原理（后）：梯度下降求权重参数
相信相信的力量
11-12 8137
在上一篇推送中总结了用数学方法直接求解最小二乘项的权重参数，然而有时参数是无法直接求解的，此时我们就得借助梯度下降法，不断迭代直到收敛得到最终的权重参数。首先介绍什么是梯度下降，然后如何用它求解特征的权重参数，欢迎您的阅读学习。 1 梯度下降梯度是函数在某点处的一个方向，并且沿着该方向变化最快，变化率最大。沿着梯度这个方向，使得值变大的方向是梯度上升的方向，沿着使值变小的方向便是下降的方向。综上，梯
神经网络中的最小二乘_研工坊纪要：迭代最小二乘估计
weixin_30152861的博客
01-31 620
时间：2020年12月23日 19:00-21:10地点：能科楼A座209参会人员：董哲、司雯、李博文、张皓景、朱云龙、郭文、李君仪、苗润发、田宇琨、程仲华(线上)记录人：朱云龙时间：2020年12月23日 19:00-21:10 地点：能科楼A座209 参会人员：董哲、司雯、李博文、张皓景、朱云龙、郭文、李君仪、苗润发、田宇琨、程仲华(线上) 记录人：朱云龙图1.活动照片活动报导本次研...
基于径向基函数(RBF)的函数插值
zfoox的摘记
07-07 2万+
1. 函数插值 2. RBF函数插值 代码实现
径向基（RBF）神经网络python代码实现
Xingqiang的博客
01-30 3034
from scipy.linalg import norm, pinv from matplotlib import pyplot as plt import numpy class RBF: def __init__(self, indim, numcenters, outdim): self.indim = indim self.outdim = outdim self.numcenters = numcenters self.
机器学习--支持向量机（六）径向基核函数（RBF）详解
热门推荐
进击的菜鸟
10-21 9万+
前面讲解了什么是核函数，以及有效核函数的要求，到这里基本上就结束了，很多博客也是如此，但是呢这些只是理解支持向量机的原理，如何使用它讲解的却很少，尤其是如何选择核函数更没有人讲，不讲也是有原因的，因为核函数的选择没有统一的定论，这需要使用人根据不同场合或者不同问题选择核函数，选择的标准也没有好的指导方法，一般都是尝试使用，所以选择核函数就需要看使用者的经验了，研究者们也在一直研究这种方法，这方面的...
Python精确径向基
04-02
Python中的精确径向基函数（Exact Radial Basis Function）通常用于回归或分类问题中的特征映射。这种函数可以通过以下公式来表示： ϕ(x) = exp(-γ||x - c||^2) 其中，x是输入向量，c是中心向量，||x - c||是x和c之间的欧几里得距离，γ是一个参数，通常称为带宽参数，它控制了函数的形状。带宽参数越小，则函数的形状越陡峭，越大则函数的形状越平缓。 在使用精确径向基函数时，我们需要选择一组中心向量c和带宽参数γ。通常情况下，中心向量c是通过数据集中的聚类算法来获取的，而带宽参数γ则需要通过交叉验证来确定。交叉验证的过程可以使用Python中的交叉验证函数来实现，例如sklearn.model_selection中的GridSearchCV和RandomizedSearchCV函数等。 下面是一个使用精确径向基函数实现回归任务的Python代码示例： ```python import numpy as np from sklearn.metrics.pairwise import euclidean_distances class ExactRBF: def __init__(self, gamma=1.0): self.gamma = gamma def fit(self, X, y): self.X = X self.y = y self.centers = self.get_centers(X) self.phi = self.get_phi(X, self.centers) self.w = np.linalg.pinv(self.phi) @ y def predict(self, X): phi = self.get_phi(X, self.centers) return phi @ self.w def get_centers(self, X): dist = euclidean_distances(X) return X[np.argsort(np.max(dist, axis=1))[-1::-len(X)//10]] def get_phi(self, X, centers): dist = euclidean_distances(X, centers) return np.exp(-self.gamma * dist ** 2) ``` 在这个代码中，我们首先定义了一个ExactRBF类，它包含了fit和predict两个方法。fit方法用于训练模型，接受输入数据X和输出数据y，然后通过get_centers和get_phi方法来获取中心向量和特征映射矩阵，最后使用最小二乘法来计算权重向量w。predict方法用于预测新的输入数据X的输出值。 在get_centers方法中，我们使用欧几里得距离来计算样本之间的距离，然后选择样本距离最远的10%作为中心向量。 在get_phi方法中，我们同样使用欧几里得距离来计算每个样本与中心向量之间的距离，然后使用精确径向基函数来计算特征映射矩阵。 下面是一个使用精确径向基函数实现分类任务的Python代码示例： ```python import numpy as np from sklearn.metrics.pairwise import euclidean_distances class ExactRBF: def __init__(self, gamma=1.0): self.gamma = gamma def fit(self, X, y): self.X = X self.y = y self.centers = self.get_centers(X) self.phi = self.get_phi(X, self.centers) self.w = np.linalg.pinv(self.phi) @ y def predict(self, X): phi = self.get_phi(X, self.centers) y_pred = np.sign(phi @ self.w) y_pred[y_pred == 0] = 1 return y_pred def get_centers(self, X): dist = euclidean_distances(X) return X[np.argsort(np.max(dist, axis=1))[-1::-len(X)//10]] def get_phi(self, X, centers): dist = euclidean_distances(X, centers) return np.exp(-self.gamma * dist ** 2) ``` 在这个代码中，我们同样定义了一个ExactRBF类，但是在predict方法中使用了np.sign函数来将预测输出值转换为{-1, 1}的类别标签。 总的来说，使用精确径向基函数可以有效地解决回归和分类问题，并且可以通过交叉验证来确定带宽参数γ的最优值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值