数值最优化-定理5-2

证明过程中用到了h也是严格凸的引论，在课后习题的5.4是有介绍的：

所以这么一来就牵扯出了有关凸函数和严格凸的内容：

凸函数的内容大概都知道，这个严格凸指的则是当x!=y时，一定是不等号，

对于，我们把x换成，可以得出：

所以如果没推导错的话，可以看到，由于A的正定的性质，在开区间（0，1）里，只有x=y会满足等号成立，其余全是>大于号。所以\phi是严格凸。

然后是对也是严格凸的证明，也就是课后题5.4的解答：

其实也就是按着定义来:

最后一步把x_0拆成了两部分，我们就可以提出公共项\alpha和（1-\alpha)

然后就变成了：，进而就可以利用\phi本身的严格凸推导出h的严格凸了。

主要思想还是拆x那里。

然后我们才可以去看定理5.3的具体证明：

当然还要涉及一点，如果是凸函数的话，那么梯度为0的点，一定是全局最优解：

书上定理2.5有说这个事。

然后开始证明定理5.2

定理说了两件事：

第一，用共轭方向算法5.6，5.7生成的那一组x_k会保证5.11成立，也就是r_k总是和之前所有的p_k正交；

第二，每次生成的x_k都会保证，这时的\phi(x_k)是 5.12式张成空间的最小值；

书上是先证得第二个，我们还是按先第一个再第二个吧，

首先，由于5.6，5.7的计算\alpha_k的方法其实是通过计算出来的，因此有：

这个r_1p_0=0就是我们将要使用数学归纳法的其实条件，

然后数学归纳法的常规流程，先假设k-1成立，再证明k成立，这里就不多复述了：

然后是对第二个的证明，逻辑上还是挺难理解的。

首先是书上说了一句，通过链式法则可以得到，在那里就想了很久：

然后是逻辑理解上，最后的体会就是

1 \phi在那个张成的空间上有极小值，

2 h 在\sigma上有极小值，

3 r^Tp=0

这仨个等式就是彼此的充要条件，书上那一段文字说的大概就是这件事。