python：简单的梯度下降算法

刚刚研究生入学，方向自然语言处理。

解决凸优化课程中的梯度下降问题：f = 0.5*(x_1^2) + 5*(x_2^2)

此文分别用精确直线搜索和回溯直线搜索确定步长t，并分别用这两个方法分析了收敛性。

import matplotlib.pyplot as plt
iter = 1000
#精准直线搜索确定步长        
obj = [None]*iter
x_0 = [10,20]
for i in range(1,iter):
    obj[i-1] = 0.5*x_0[0]**2+5*x_0[1]**2
    x_1 =[None]*2
    
    x_1 = [(900*x_0[1]**2*x_0[0])/(x_0[0]**2+1000*x_0[1]**2),
          (-9*x_0[0]**2*x_0[1])/(x_0[0]**2+1000*x_0[1]**2)]
    x_0 = x_1
    if x_0 ==[0,0]:
        break
#回溯直线搜索确定步长  
y_0 = [10,20]
obj1 = [None]*iter
a = 0.2
b = 0.6
z = [None]*iter
g = [None]*iter
for i in range(1,iter):
    obj1[i-1] = 0.5*y_0[0]**2+5*y_0[1]**2
    y_1 = [None]*2
    t = 1
    while ((y_0[0]**2*(t**2-2*t)+5*y_0[1]**2*(100*t**2-20*t)+
            a*t*(y_0[0]**2+100*y_0[1]**2)>0)):
        t = b*t
    y_1 = [(y_0[0]-t*y_0[0]),y_0[1]-10*t*y_0[1]]
    y_0 = y_1

	
    z[i-1] = 2050*(9/10)**i #精准直线搜序收敛性分析
    g[i-1] = 2050*(1-0.3)**i #回溯直线搜索收敛性分析 

x = range(0,iter)
plt.xlabel('iteration')
plt.ylabel('gap')
plt.semilogy(x,obj,'-r',label='exact l.s.')
plt.semilogy(x,z,':r',label='exact analysis')
plt.semilogy(x,obj1,'-b',label='backtracking l.s.')
plt.semilogy(x,g,':b',label='backtracking analysis')
plt.legend(loc='lower left')

初学python，代码很冗长，需要不断改进。