李航第六章的BFGS算法

没啥用，在scipy中已经实现了．
参考链接如下
https://blog.csdn.net/ACdreamers/article/details/44664941

scipy的bfgs算法如下：
https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.fmin_bfgs.html

稍微备注下这一章中最大熵模型的推导：

根据当前每个类别的频数，来求解整个系统熵最大的数值，顺便求解每个类别的概率是多少．
注意，这一章的证明中，虽然有maxmin这种情况，但是这个并不是应用广义拉格朗日的结果，而是因为Ｐ本身就是一个未知数，需要对其进行求偏导，同时因为拉格朗日引入了乘子wi,需要对wi求偏导，才最终导致maxmin的出现，与广义拉格朗日乘子法无关．广义拉格朗日乘子法一定是用来处理＂不等式＂约束时才派上用场的的．