TensorFlow（三）神经网络基本概念

最新推荐文章于 2024-05-31 22:24:15 发布

viafcccy

最新推荐文章于 2024-05-31 22:24:15 发布

阅读量419

点赞数 1

分类专栏： TensorFlow与深度学习智能算法

本文链接：https://blog.csdn.net/viafcccy/article/details/95526065

版权

智能算法同时被 2 个专栏收录

26 篇文章 22 订阅

订阅专栏

TensorFlow与深度学习

20 篇文章 8 订阅

订阅专栏

绪论

根据上面介绍的神经网络，也许或=会感觉神经网络很简单，但是呢只是一个神经元的神经网络，同时省略了许多地方，下面来了解神经网络的更多内容。

一、算法基础

1.梯度下降法

梯度下降法

在第二篇中使用了梯度下降法，但是未能了解是什么，下面来体会它的作用与优缺点：

关于梯度下降法更多的相关原理推导自行查找，这里给出一部分：

我们使用梯度下降法来解决一个问题，体会它的优点与缺点，有两组数据找到合适的权重使 diff = (theta0 * x[i][0] + theta1 * x[i][1] + theta2 * x[i][2]) - y[i] = 0

x = [(2,0,3),(1,0,3),(1,1,3),(1,4,2),(1,2,4)]
y = [5,6,8,10,11]

x = [(2,0,3),(1,0,3),(1,1,3),(1,4,2),(1,2,4)]
y = [5,6,8,10,11]

epsilon = 0.00002 #两次预测值误差的差值小于这个值判定为收敛

alpha = 0.02 #学习率
diff = 0#预测值和真实值差距
error0 = 0
error1 = 0
cnt = 0#迭代次数
m = len(x)#测试数据数量

theta0 = 0
theta1 = 0
theta2 = 0

while True:
    cnt += 1
    
    for i in range(m):
        diff = (theta0 * x[i][0] + theta1 * x[i][1] + theta2 * x[i][2]) - y[i]#计算误差
        theta0 -= alpha * diff * x[i][0]
        theta1 -= alpha * diff * x[i][1]
        theta2 -= alpha * diff * x[i][2]
        
    error1 = 0
    for lp in range(m):
        error1 += 0.5*(y[lp] - (theta0 * x[lp][0] + theta1 * x[lp][1] + theta2 * x[lp][2]))**2 #计算均方误差
        print('error0:%f,error1:%f'%(error0,error1))
    if abs(error1 - error0) < epsilon:
        break
    else:
        error0 = error1
    
print('theta0:%f,theta1:%f,theta2:%f'%(theta0,theta1,theta2))
print('迭代次数:%d' % cnt)
print('------------------------Result-----------------------')
print('real:[5,6,8,10,11]')
print('forecast:')
print('y1 = %f '%(theta0 * x[0][0] + theta1 * x[0][1] + theta2 * x[0][2]))
print('y2 = %f '%(theta0 * x[1][0] + theta1 * x[1][1] + theta2 * x[1][2]))
print('y3 = %f '%(theta0 * x[2][0] + theta1 * x[2][1] + theta2 * x[2][2]))
print('y4 = %f '%(theta0 * x[3][0] + theta1 * x[3][1] + theta2 * x[3][2]))
print('y5 = %f '%(theta0 * x[4][0] + theta1 * x[4][1] + theta2 * x[4][2]))

可以看到最终的预测值，和真实值有一定的差距，我们可以调整epselion来提高收敛的要求，使之迭代更多的次数更加逼近真实值。