Gradient descent拙见

一开始是用学习速率来乘以偏微分来进行梯度下降，但是这种方式所在逼近最低点的左右下降速率并不科学，于是引入方差，用学习速率来除以方差来作为新的偏微分前的乘的玩意，这样的学习速率较快，总之，gradient descent所带来的的计算量是我的电脑所不能承受的，慎用！！！

import numpy as np
from sympy import *
arr_x=[1,2,3,4,5,6,7,8,9,10]
arr_y=[2,3,4,5,6,7,8,9,10,11]
w=symbols("w")
b=symbols("b")
value_w=2
value_b=2
sum=0
for i in range(10):
    sum+=(w*arr_x[i]+b-arr_y[i])**2
pastdiff_w=diff(sum,w,1).subs({w:value_w,b:value_b})
pastdiff_b=diff(sum,b,1).subs({w:value_w,b:value_b})
while sum.subs({w:value_w,b:value_b})>1:
    value_w=value_w-(0.01/sum.subs({w:value_w,b:value_b}))*pastdiff_w
    value_b=value_w-(0.01/sum.subs({w:value_w,b:value_b}))*pastdiff_b
    pastdiff_w=value_w
    pastdiff_b=value_b

print(value_w,value_b)

自己写的笔记，就不要有读者看了吧。。。