Python实现-----使用随机梯度算法对高斯核模型进行最小二乘学习法

最新推荐文章于 2021-08-01 16:01:05 发布

David-Chow

最新推荐文章于 2021-08-01 16:01:05 发布

阅读量903

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_23981335/article/details/83747274

版权

机器学习专栏收录该内容

22 篇文章 2 订阅

订阅专栏

（1）高斯核模型

其中 $x=[x_1,x_2,...,x_n]$ 为样本。可以看出，核模型的均值 $c$ 是以 $x$ 的元素 $x_j$ 进行计算的。

（2）随机梯度下降法

（3）python 代码实现

import numpy as np
import matplotlib.pyplot as plt
import math
n=50
N=1000
x=np.linspace(-3,3,n)
X=np.linspace(-3,3,N)
def fun0(x):
    pix=math.pi*x
    return np.sin(pix)/pix+0.1*pix+0.1*np.random.rand()

y=np.array(list(map(fun0,x)))
hh=2*pow(0.3,2)
t0=np.random.randn(int(n),)
alpha=0.1

xs=x[0:int(n)]
def K(xi):
    K=[]
    for a in range(len(xs)):
       K.append(math.exp(-(xi-xs[a])**2/hh))
    return np.array(K)


for o in range(1000):
    i=math.ceil(np.random.rand()*(n-1))
    k=K(x[i])
    t=t0-alpha*k*((np.dot(k,t0.reshape((-1,1))))-y[i])

    if np.linalg.norm(t-t0)<0.000001:
        break
    t0 = t

def fun(Xi):
    return K(Xi).dot(t0.reshape((-1,1)))


Y=np.array(list(map(fun,X))).reshape((-1,))
error=np.array(list(map(fun,x))).reshape((-1,))-y
plt.plot(x,y,'g.')        #绘制样本点
plt.plot(X,Y,'r-')        #绘制拟合曲线
plt.plot(x,error,'b-')    #绘制样本点拟合误差

plt.show()

结果为：