Python20行代码实现多层神经网络的学习

转载自:python小练习(062):python20行代码实现多层神经网络的机器学习(一)http://bbs.fishc.com/thread-81849-1-1.html(出处: 鱼C论坛)

今天在鱼C论坛看到一个很好的入门机器学习的小例子,分享给大家。

现在神经网络、机器学习、深度学习逐渐成为未来计算机发展的大趋势。今天就通过一个很简单的小例子,浅谈一下如何用python实现多层神经网络的机器学习。神经网络(Neural Networks)属于 机器学习(Machine Learning)的一种。深层神经网络(Deep Neural Networks)也只是 深层学习(Deep Learning) 的一种。"深度学习"是为了让层数较多的多层神经网络可以训练,能够work而演化出来的一系列的 新的结构和新的方法。好吧,太复杂的概念大家可以google,这里举个简单的例子说明:例如,有一组输入:X = 1,2,3,4,5,6,7,8,9,10有一组输出:Y = 10,20,30,40,50,60,70,80,90,100求解:Y = k*X + b 中的 k 和 b 为何值时,函数拟合最好。当然,这是非常简单的题目,用脚趾头想都能知道这个函数当然应该是 Y = 10 * X + 0,即 k = 10, b = 0.那么用神经网络学习应该如何实现呢?卖个关子。我们先看结果吧:当学习次数为100时,程序输出:k=9.999852648623337 b=0.0007369339496443169当学习次数为10000时,程序输出:k=9.999866463857986 b=0.0007360277038955244当学习次数为1000000时,程序输出:k=9.999935468934599 b=0.0003552889884596963可以看到随着学习次数的增加,输出值会无限接近标准值(但是永远也打不到标准值,因为机器学习的特点就是根据偏差值不断调整自身参数,以不断减小误差,但是误差是永远存在的。)下面详细解释程序代码:首先,我们要定义一个函数,这个函数的作用是能够把输入值转化为一个0~1之间的数,并且当输入值与0的差值越大,输出越接近1,输入值越接近0时,输入值也越接近于0. 这个函数的作用就是用来调整机器本身参数,使结果更加接近于标准值。那么,我们这个函数F(x)= (e^x -1) / (e^x + 1) 就符合这样的要求,其中x>=0(取绝对值)。def F(x):    return (math.exp(abs(x))-1)/(math.exp(abs(x))+1)然后当然要把X和Y以列表的形式放入以便机器学习使用。X = list(range(1,11))Y = list(range(10,110,10))由于有k和b 2个未知数,我们设定一个二层的神经网络。把X作为第一层输入,k*X作为第一层的输出把k*X作为第二层输入,k*X+b作为第二层的输出利用k*X与Y-b计算第一层的偏差值error1,代入F(error1)计算权重,然后把这个权重值*error1作为k值的调整值同样,利用k*X+b与Y计算第二层的偏差值error2,代入F(error2)计算权重,再把这个权重值*error2作为b值的调整值然后,不断反复迭代这个过程,使得k和b不断接近标准值。这个过程就是这样。20行源代码如下:

import math
def F(x):
    return (math.exp(abs(x))-1)/(math.exp(abs(x))+1)

X = list(range(1,11))
Y = list(range(10,110,10))

k,b = 0,0
for repeat in range(1000000):
    for i in range(10):
        c1 = k*X[i]
        e1 = Y[i]-b-c1
        d1 = e1*F(e1)
        k += d1
        c2 = k*X[i]+b
        e2 = Y[i]-c2
        d2 = e2*F(e2)
        b += d2

print (k,b)

既然说到了,神经网络那不提google的开源大作tensorflow就实在说不过去了,所以我决定还是要把这段加上。
同样20行左右的代码(去掉注释),完成同样的工作,而且tensorflow是一个非常完善的库,可以用来做非常多的机器学习的项目。
直接上代码,注释都写好了:

import tensorflow as tf
import numpy as np

# 使用 NumPy 生成假数据(phony data), 总共 100 个点.
x_data = np.float32(np.random.rand(1, 100))  # 随机输入
y_data = np.dot([10], x_data) + 0

# 构造一个线性模型
b = tf.Variable(tf.zeros([1])) + 0.1
W = tf.Variable(tf.random_uniform([1, 1], -1.0, 1.0))
y = tf.matmul(W, x_data) + b

# 最小化方差
loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

# 初始化变量
init = tf.initialize_all_variables()

# 启动图 (graph)
sess = tf.Session()
sess.run(init)

# 拟合平面
for step in range(0, 301):
    sess.run(train)
    if step % 30 == 0:
        print (step, sess.run(W), sess.run(b), sess.run(loss))

输出:
Step     k                         b                         error
0 [[ 4.0464325]] [ 4.64299202] 5.73681
30 [[ 9.25678635]] [ 0.40823561] 0.0502534
60 [[ 9.91544819]] [ 0.04644302] 0.000650405
90 [[ 9.99038124]] [ 0.00528351] 8.41773e-06
120 [[ 9.99890614]] [ 0.00060082] 1.08852e-07
150 [[ 9.99987507]] [  6.87018037e-05] 1.41737e-09
180 [[ 9.99998474]] [  8.32974911e-06] 2.0752e-11
210 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12
240 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12
270 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12
300 [[ 9.99999619]] [  2.02655792e-06] 1.39467e-12

展开阅读全文
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值