最优化 - 梯度优化算法

本人总结的常用优化算法，主要讲解原理：http://download.csdn.net/detail/zk_j1994/9880349

主要包括梯度下降，共轭梯度法；牛顿法，拟牛顿法；信赖域方法，罚函数法。

# -*- coding: utf-8 -*-
"""
author: UniqueZ_
file:   gradient descent algorithm, CG method
date:   2017-06-23
remark: 原方程为(x1)**2 + 2*(x2)**2
"""
import numpy as np
import matplotlib.pyplot as plt

class Gradient_method:
    """ 使用的方向和梯度有关的优化算法: 梯度下降法 & 共轭梯度法 """
    def __init__(self, x0, gradient_threshold