其他算法-不动点迭代

不动点迭代

不动点迭代法（Fixed Point Iteration）又叫简单迭代法，对于一个非线性方程 $f(x)=0$ 将其转换成以下形式：
$$x=\phi (x)$$
假设 $\phi (x)$ 是一个连续函数（$\phi (x)$被称为迭代函数），任取一个初始值 $x_0$ 代入上式右端，得到：
$$x_1=\phi (x_0)$$
并依次迭代计算：
$$x_2=\phi (x_1),...,x_{k+1}=\phi (x_k)$$
如果存在一点 $x^{\ast }$，使得迭代序列{$x_k$}满足：$li{m}_{k\to \infty }{x}_k=x^{\ast }$，则称迭代是收敛的，否则为发散；

迭代的收敛性

设迭代函数 $\phi (x)$ 在 $[a,b]$ 上连续，且满足：

• 当 $x\in [a,b]$ 时，$a\le \phi (x)\le b$；
• 存在一个正数 $0<L<1$，且 $\forall x\in [a,b]$，有 $|{\phi }^{{}^{\prime }}(x)|\le L$

则方程 $x=\phi (x)$ 在 $[a,b]$ 内有唯一解 $x^{\ast }$，对任意初始值 $x_0\in [a,b]$，迭代法总能收敛于 $x^{\ast }$

迭代法实例

对于一层全连接网络，如果使用tanh作为激活函数，很容易通过tensorflow写出过程：

# 注意tf.multiply是张量逐个元素相乘,tf.matmul才是矩阵乘法
y=tf.matmul(W,x)+b
y=tf.tanh(y)

假设现在想用 $x=y+cosy$ 的反函数 $y=f(x)$ 来激活，就需要先解出 $y=f(x)$；很明显 $y=f(x)$ 是一个超越函数，不能用初等函数有限表示，故用不动点迭代法求出近似值；（把 $x$ 看作常量，方程就变成只含有 $y$ 的式子）

改变形式为：
$$y=x-cosy$$
迭代为：
$$y_{k+1}=x-cos(y_k)$$
选择初始值 $y_0=x$，迭代三次为：
$$y=x-cos(x-cos(x-cosx))$$
此时，可以用tensorflow表示使用该激活函数的过程：

y=tf.matmul(W,x)+b
Y=y
for i in range(3):
	Y=y-tf.cos(Y)