numpy 实现梯度下降
参考教程:pytorch神经网络实践(1): 安装与初次使用pytorch搭建神经网络实践手写数字识别教程
# -*- coding: utf-8 -*-
"""
让神经元学习到逻辑与这个规则
@author: 李韬_varyshare
"""
# 先随便猜w1,w2,b是多少
w1 = 0.666
w2 = 0.333
b = 0.233
def train():
# 用于训练的数据(四行)一行样本数据格式为 [x1,x2,g(x1,x2)]
data = [
[1, 0, -1],
[0, 1, -1],
[0, 0, -1],
[1, 1, 1]
]
global w1,w2,b # 告诉计算机我修改的是全局变量(每个函数都能修改这个变量)
epoch = 20 # 同样的数据反复训练20次
for _ in range(epoch):
# 逐个样本更新权重
for i in data:
# 这里的i = [x1,x2,g(x1,x2)],它是data中的一行
# 求各自导函数在(x1,x2,g(x1,x2))处的导函数值
d_w1 = 2*(w1*i[0]+w2*i[1]