[python]线性回归实现linear regression

#线性回归，梯度下降法
#by cjf@xmu

#参数n个点，返回线性方程参数a,b,y=ax+b
import math
def linear(points):  
  a=10.0
  b=1.0
  learning_rate=1e-2
  #loss=1/(2n)*sigmal(sqr(a*xi+b-yi))
  #求loss对a,b的偏导，梯度下降法
  while True:
    #求偏导
    der_a=0.0
    der_b=0.0
    for xi,yi in points:
      der_a+=a*xi*xi+b*xi-xi*yi
      der_b+=a*xi+b-yi 
    der_a/=len(points)
    der_b/=len(points)
    #学习
    a-=learning_rate*der_a
    b-=learning_rate*der_b 
    print("%f %f" %(a,b))
    if math.fabs(der_a)<1e-7 and math.fabs(der_b)<1e-7:
      return a,b

if __name__=="__main__":
  print(linear([(1,0),(2,1)]))#,(3,2),(0,1),(1,2),(2,3)]))

华为的比赛想试试线性回归，网上搜了下，发现怎么代码怎么长，还用到各种库。

干脆自己写一个。

梯度下降法实现，类似神经网络bp算法。

另外，此方法可能出现http://blog.csdn.net/vcvycy/article/details/79520163 这里的问题。

导致梯度下降法发散无法收敛：要么降低学习率，要么数据归一化。