【论文笔记之 NLMS】A Learning Method for System Identification

本文对 JIN-ICHI KAGUMO 和 ATSUHIKO NOD4 于 1967 年在 IEEE Transactions on Automatic Control 上发表的论文进行简单地翻译。如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。

论文链接：https://ieeexplore.ieee.org/abstract/document/1098599

1. 论文目的

提出一种系统辨识方法。

2. 摘要

提出了一种基于 error-correcting training procedure in learning machines 的系统辨识方法，称为 “learning identification”。

The learning identification 适用于输入信号随机且非平稳的情况，而且它能在短时间内完成辨识。因此，它可以被用来辨识线性准时不变系统 in which some parameters vary slowly in comparison with the time required for identification。这些优点还使得通过移动平均法消除噪声干扰成为可能。

作者还使用计算机仿真实验，得到了该算法在各种情况下，辨识所需要的时间。

3. 介绍

可以使用多种方法对线性时不变系统进行辨识。其中一些方法使用特定的输入信号，比如正弦波，阶跃函数或者脉冲信号。这些系统辨识方法的缺点是会严重干扰系统的正常运行。使用平稳随机输入信号和 correlation functions 的方法是 is nondisturbing，但辨识所需的时间通常很长。

论文提出了一种基于 error-correcting training procedure in learning machines 的线性系统辨识方法，称为 “learning identification”。

4. Learning Identification 的原理

Considerations are restricted to systems with discrete time (sampled-data system) for the convenience of computer application, and noise-free measurements are assumed throughout.

A sampled weighting function of the linear time-invariant stable system is approximated by a finite set of values
$$\begin{array}{r}{w}_1,w_2,w_3,\cdots ,w_N,\end{array}$$

其中 $w_i$ 是系统的第 $i$ 个 sampled impulse response, $N$ 的选择使得 $N\Delta t$ 能 covers the significant duration of impulse response, $\Delta t$ 是由采样定理确定的采样周期。设输入序列为：
$$\begin{array}{r}{x}_1,x_2,x_3,\cdots ,\end{array}$$

由 $(1)$ 所指定的系统的相应输出序列为：
$$\begin{array}{r}{y}_1,y_2,y_3,\cdots .\end{array}$$

对于 $j\ge N+1$：
$$\begin{array}{r}{y}_j=w_1{x}_{j-1}+w_2{x}_{j-2}+\cdots +w_N{x}_{j-N}=\sum _{i=1}^N{w}_i{x}_{j-i}.\end{array}$$

因此，辨识由 $(1)$ 所指定的系统的问题就是，通过迭代的方式找到一个序列：
$$\begin{array}{r}{v}_1^{(j)},v_2^{(j)},v_3^{(j)},\cdots ,v_N^{(j)}(j=N+1,N+2,\cdots )\end{array}$$
以使每个 $v_i^{(j)}$ 在迭代步骤 $j$ 逼近 $w_i$。 这样的一组值称为辨识器的权重函数，且辨识器的输出 $z_j$ 在迭代步骤 $j$ 逼近 $y_j$，其中
$$\begin{array}{rl}{z}_j& =v_1^{(j)}{x}_{j-1}+v_2^{(j)}{x}_{j-2}+\cdots +v_N^{(j)}{x}_{j-N}\\ & =\sum _{i=1}^N{v}_i^{(j)}{x}_{j-i}.\end{array}$$

定义如下 $N$ 维向量：
$$\begin{array}{r}\mathbf{w}\triangleq \left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_N\end{array}\right),{\mathbf{v}}_j\triangleq \left(\begin{array}{c}{v}_1^{(j)}\\ v_2^{(j)}\\ ⋮\\ v_N^{(j)}\end{array}\right),{\mathbf{x}}_j\triangleq \left(\begin{array}{c}{x}_{j-1}\\ x_{j-2}\\ ⋮\\ x_{j-N}\end{array}\right).\end{array}$$

最后一个向量是对原始输入序列 $(2)$ 中的 $N$ 项进行重组得到的。此后，使用如下输入序列代替 $(2)$：
$$\begin{array}{r}{\mathbf{x}}_{N+1},{\mathbf{x}}_{N+2},{\mathbf{x}}_{N+3},\cdots \end{array}$$
通过使用上述向量：
$$\begin{array}{rl}{y}_j& =(\mathbf{w},{\mathbf{x}}_j),\\ z_j& =({\mathbf{v}}_j,{\mathbf{x}}_j),\end{array}$$

调整辨识器的权重函数 ${\mathbf{v}}_j$ 的过程如下。The identification error for an input vector is allotted to each component of the weighting function vector of the identifier, proportional to the magnitude of the corresponding component of the input vector so that the output of the adjusted identifier gives a correct output if the same input is applied at the next sampling instant. 更确切地说，在迭代步骤 $j$，将 $\Delta {\mathbf{v}}_j$ 加到 ${\mathbf{v}}_j$ 上：
$$\begin{array}{r}\Delta {\mathbf{v}}_j={\mathbf{v}}_{j+1}-{\mathbf{v}}_j=(y_j-z_j)\frac{{\mathbf{x}}_j}{\Vert {\mathbf{x}}_j{\Vert }^2},(\Vert {\mathbf{x}}_j{\Vert }^2\triangleq \sum _{i=1}^N{x}_{j-i}^2)\end{array}$$

which means an error-correcting procedure in the sense that
$$\begin{array}{rl}({\mathbf{v}}_{j+1},{\mathbf{x}}_j)& =({\mathbf{v}}_j+\Delta {\mathbf{v}}_j,{\mathbf{x}}_j)=({\mathbf{v}}_j,{\mathbf{x}}_j)+(\Delta {\mathbf{v}}_j,{\mathbf{x}}_j)\\ & =z_j+(y_j-z_j)=y_j.\end{array}$$

接下来，要证明对于随机输入序列 { x j } \{x_{j}\} {xj​}， 序列 { v j } \{v_{j}\} {vj​} 收敛到 $\mathbf{w}$。

图 1 展示了该自适应过程的几何解释。在 $N$ 维空间中定义超平面 ${\Pi }_{j-1}$：
Π j − 1 ≜ { p ∣ ( p , x j − 1 ) = y j − 1 } . \begin{align} \Pi_{j-1} \triangleq \{\mathbf p | (\mathbf p, \mathbf x_{j-1}) = y_{j-1}\}. \end{align} Πj−1​≜{p∣(p,xj−1​)=yj−1​}.​​

超平面 ${\Pi }_{j-1}$ 垂直于向量 ${\mathbf{x}}_{j-1}$，由 $(8)$ 和 $(11)$ 可得，点 $\mathbf{w}$ 和 ${\mathbf{v}}_j$ 在 ${\Pi }_{j-1}$ 上。类似地，超平面 ${\Pi }_j$ 垂直于 ${\mathbf{x}}_j$，点 $\mathbf{w}$ 和 ${\mathbf{v}}_{j+1}$ 在 ${\Pi }_j$ 上。因为，由 $(10)$ 可知，向量 $({\mathbf{v}}_{j+1}-{\mathbf{v}}_j)$ 平行于向量 ${\mathbf{x}}_j$，the point ${\mathbf{v}}_{j+1}$ coincides with the foot of the normal from point ${\mathbf{v}}_j$ to hyperplane ${\Pi }_j$.

令向量 ${\mathbf{x}}_j$ 和 向量 ${\mathbf{u}}_j\triangleq \mathbf{w}-{\mathbf{v}}_j$ 之间的夹角为 ${\theta }_j$，
$$\begin{array}{r}\frac{\Vert {\mathbf{u}}_{j+1}{\Vert }^2}{\Vert {\mathbf{u}}_j{\Vert }^2}={\sin }^2{\theta }_j=1-{\cos }^2{\theta }_j,\end{array}$$

其中，
$$\begin{array}{r}{\cos }^2{\theta }_j=(\frac{({\mathbf{x}}_j,{\mathbf{u}}_j)}{\Vert {\mathbf{x}}_j\Vert \Vert {\mathbf{u}}_j\Vert }{)}^2,\Vert {\mathbf{u}}_j{\Vert }^2\triangleq \sum _{i=1}^N{u}_{j-i}^2.\end{array}$$

因此，对于 an appropriate 输入序列 { x j } \{x_{j}\} {xj​}
$$\begin{array}{r}\Vert {\mathbf{u}}_{j+1}{\Vert }^2=\Vert {\mathbf{u}}_{N+1}{\Vert }^2\prod _{r=N+1}^j(1-{\cos }^2{\theta }_r),\end{array}$$

且
$$\begin{array}{r}\Vert {\mathbf{u}}_j\Vert \to 0(j\to \infty )\end{array}$$

附录 I 给出了收敛的条件。

可对上述提到的自适应过程进行扩展。令
$$\begin{array}{r}\Delta {\mathbf{v}}_j={\mathbf{v}}_{j+1}-{\mathbf{v}}_j=\alpha (y_j-z_j)\frac{{\mathbf{x}}_j}{\Vert {\mathbf{x}}_j{\Vert }^2}\end{array}$$

代替 $(10)$，其中 $\alpha$ 为 error-correcting 系数，且 $2>\alpha >0$。

将 $(17)$ 作为自适应过程的系统辨识学习方法称为 “fundamental method.”

5. 用 Fundamental Method 进行 Learning Identification 的计算机仿真

假设将序列 $(2)$ 输入给 $(1)$ 所表示的离散线性系统。并假设辨识器的权重函数向量的初始值为 $0$ 向量。

在迭代步骤 $j$，辨识的归一化误差 $e_j$ 定义为：
$$\begin{array}{r}{e}_j\triangleq \frac{\Vert \mathbf{w}-{\mathbf{v}}_j\Vert }{\Vert \mathbf{w}\Vert }(j\ge N+1)\end{array}$$

从 $(13)$ 可以很明显地看到， $e_j$ 是 $j$ 的非递增函数。An integer $j(\xi )$ is denoted as the first number $j$ in such a manner that the error $e_j$ becomes equal to or less than a given positive number $\xi$; $j(\xi )$ 是 $\xi$ 的非递增函数。Normalized by the extent of the weighting function $N$, $T(\xi )$ is defined as
$$\begin{array}{r}T(\xi )\triangleq \frac{j(\xi )}{N}-1.\end{array}$$

减 $1$ 的原因是当 $j=N+1$ 时，$e_j=1$。注意到 $T(\xi )$ 也是 $\xi$ 的非递增函数，并称为 “time for identification” 或 “identification time”.

$w_1,w_2,\cdots ,w_N$ 代表计算机设置的未知系统的 sampled weighting function. 尽管对具有不同权重函数的各种系统进行了计算机仿真，the results concerning a sampled weighting function which corresponds to the second order system：
$$\begin{array}{r}\frac{{\omega }_n^2}{s^2+2\zeta {\omega }_{n}s+{\omega }_n^2}\end{array}$$

其中 $\zeta =0.5,{\omega }_n=1$，将在下面对其进行介绍，因为没在各种权重函数之间发现显著的差异（见表 3）。可假设采样周期 $\Delta t$ 为任意值，因为在计算机仿真中，使用 $\Delta t$ 对时间尺度进行归一化。

对于输入，除非另有说明，否则使用通过计算机程序生成的具有高斯分布的平稳随机采样信号，尽管信号不必是平稳的或高斯的。

图 2 展示了收敛过程的示例。

在 $N=16$ 的情况下，表 I 展示了 $\alpha$ 对 $T(\xi )$ 的影响。由此可知，identification time 在 $\alpha =1$ 附近最小（与后面将会讲到的 quantizing method 相比。）

表 II 展示了 $N$ 与 $T(\xi )$ 的关系。当 $\alpha =1$ 时，在 $N\ge 8$ 的前提下，$T(\xi )$ 可以被认为是独立于 $N$ 的。在 $\alpha =1,N=16$ 的情况下，results of the identifications of a second-order system with $\zeta =0.5,{\omega }_n=1$ and of a first-order system with a dead time of 3 sampling intervals are compared in Table III.

表 IV 比较了将具有高斯分布和均匀分布的随机信号作为输入时的结果，这两种情况间并没有显著的差异。

即使在上述讨论中，输入向量 ${\mathbf{x}}_j$ 不独立于 ${\mathbf{x}}_{j-1},{\mathbf{x}}_{j-2},\cdots ,{\mathbf{x}}_{j-N+1}$（见附录 II），也可以通过与上述相同的程序，使用独立随机的向量序列作为输入序列，来对任意给定的系统进行辨识。表 V 展示了上述独立情况下的仿真结果，并与不独立情况下的仿真结果进行了比较。在这两种情况下，每个输入向量的 $N$ 个分量都是具有 nominal 分布的独立随机变量。从结果可以看出，it seems likely that the convergence of identification is slightly faster in the dependent case than in the independent case（apart from factor N）. 在独立的情况下，identification time 的期望值可以很容易地通过附录 II 计算出来（见表 V 第三行）。As shown, the expected times for various values of $\xi$ coincide fairly well with the results of the computer simulation.

6. The Fundamental Method of Learning Identification 的一些修改

A. Quantizing Method

将输入信号量化为 two levels 后，采用以下自适应程序代替 $(17)$：
$$\begin{array}{r}\Delta {\mathbf{v}}_j={\mathbf{v}}_{j+1}-{\mathbf{v}}_j=\beta (y_j-z_j)\frac{\text{sgn}{\mathbf{x}}_j}{|{\mathbf{x}}_j|},(\beta >0)\end{array}$$

其中向量 $\text{sgn}{\mathbf{x}}_j$ 中的每个分量是向量 ${\mathbf{x}}_j$ 中相应分量的符号，且
$$\begin{array}{r}|{\mathbf{x}}_j|\triangleq \sum _{i=1}^N|x_{j-i}|=(\text{sgn}{\mathbf{x}}_j,{\mathbf{x}}_j).\end{array}$$

这种方法称为 “quantizing method.”

使用 quantizing method 对二阶系统（$\zeta =0.5,{\omega }_n=1;N=16$）进行辨识仿真实验，表 VI 展示了 error-correcting coefficient $\beta$ 的变化对 $T(\xi )$ 的影响。与 fundamental method 不同，当 $\beta =0.5\sim 0.75$ 时，identification time 最短。如果 $\beta \ge 1.5$，辨识过程不收敛。

表 VII 展示了 $\xi =0.5,{\omega }_n=1,\beta =1$ 时， $N$ 与 $T(\xi )$ 的关系。

即使 quantizing method 比 fundamental method 需要更长的 identification time，但它的优点是使硬件实现变的更简单。

B. Repeating Method

为了缩短 identification time，一个有效的方法是重复执行自适应程序。这种方法称为 “repeating method.” 在迭代步骤 $j$，除了 fundamental method 中的 ${\mathbf{x}}_j$，还有 $m-1$ 个向量共同作为输入：
$$\begin{array}{r}{\mathbf{x}}_{j-1},{\mathbf{x}}_{j-2},\cdots ,{\mathbf{x}}_{j-m+1}\end{array}$$

此外，输出中除了 fundamental method 中的 $y_j$，还包括：
$$\begin{array}{r}{y}_{j-1},y_{j-2},\cdots ,y_{j-m+1}\end{array}$$

Unlike a once-for-all operation of the adjustment procedure at each step in the fundamental method, in this method a series of $m$ differing adjustment procedures is repeated at the $j$th step：
$$\begin{array}{r}\Delta {\mathbf{v}}_j^{(k,h)}=(y_{j-k+1}-z_{j-k+1}^{(h)})\frac{{\mathbf{x}}_{j-k+1}}{\Vert {\mathbf{x}}_{j-k+1}{\Vert }^2}(k=1,2,\cdots ,m;h=1,2,\cdots ,l)\end{array}$$

使用 repeating method 对二阶系统（$\zeta =0.5,{\omega }_n=1;N=16$）进行辨识仿真实验，且输入为高斯随机信号。表 VIII 展示了结果。

该方法的缺点是 that a slightly larger memory content must be provided in order to hold the extra input and output signals, and that each adjustment procedure has to be completed within a short time compared to the sampling interval；该方法的优点是 the identification time is considerably reduced by making use of the time before the next sampling. The identification has been improved even if the repetition is stopped halfway.

图 3 展示了一些典型的辨识例子，以及 the method using correlation functions with no noise present. 即使选取 $\zeta =0.5,{\omega }_n=1,N=16$ 的二阶系统作为待辨识系统，但实验结果并不是二阶系统所特有的。

7. 结论

论文提出了一种辨识线性时不变系统的 learning method，The method is based on an iterative procedure which is similar to the error-correcting training procedure in learning machines, and it was shown theoretically and experimentally that the iteration converges for a wide class of input signals.

相比于 correlation functions，论文提出的方法能在更短的时间内完成辨识，and will be applicable with a certain accuracy to the identification of quasi-time-invariant systems, in which some parameters vary slowly in comparison with the time required for identification.

使用数字计算机对所提方法进行了仿真，以研究上述优点，and the data for hardware realization were obtained for various cases. 论文也展示了所提方法的一些修改版本，并对这些修改版本也进行了计算机仿真。

附录 I. Learning Identification 的收敛性

$(17)$ 能被重写为：
$$\begin{array}{rl}{\mathbf{v}}_{j+1}& ={\mathbf{v}}_j+\alpha (\mathbf{w}-{\mathbf{v}}_j,{\mathbf{x}}_j)\frac{{\mathbf{x}}_j}{\Vert {\mathbf{x}}_j{\Vert }^2}\\ & ={\mathbf{v}}_j+\alpha \frac{{\mathbf{x}}_j{\mathbf{x}}_j^{{}^{\prime }}}{\Vert {\mathbf{x}}_j{\Vert }^2}(\mathbf{w}-{\mathbf{v}}_j).(2>\alpha >0)\end{array}$$

因为 ${\mathbf{u}}_j=\mathbf{w}-{\mathbf{v}}_j$，$(23)$ 变为：
$$\begin{array}{r}{\mathbf{u}}_{j+1}={\mathbf{X}}_j{\mathbf{u}}_j(j\ge N+1),\end{array}$$

且
$$\begin{array}{r}{\mathbf{X}}_j=\mathbf{I}-\alpha \frac{{\mathbf{x}}_j{\mathbf{x}}_j^{{}^{\prime }}}{\Vert {\mathbf{x}}_j{\Vert }^2},\end{array}$$

其中 $\mathbf{I}$ 是 $N\times N$ 的单位矩阵。因此，问题被简化为：证明当 $j\to \infty$ 时，${\mathbf{u}}_j\to 0$ 或 $\Vert {\mathbf{u}}_j\Vert \to 0$。

由 $(24)$ 可得：
$$\begin{array}{rl}\Vert {\mathbf{u}}_{j+1}{\Vert }^2& =({\mathbf{X}}_j{\mathbf{u}}_j,{\mathbf{X}}_j{\mathbf{u}}_j)=({\mathbf{u}}_j,{\mathbf{X}}_j^2{\mathbf{u}}_j)\\ & =(1-{\xi }_j)\Vert {\mathbf{u}}_j{\Vert }^2,\end{array}$$

其中：
$$\begin{array}{r}{\xi }_j=\alpha (2-\alpha )(\frac{({\mathbf{x}}_j,{\mathbf{u}}_j)}{\Vert {\mathbf{x}}_j\Vert \Vert {\mathbf{u}}_j\Vert }{)}^2,\end{array}$$

且
$$\begin{array}{r}\Vert {\mathbf{u}}_{j+1}{\Vert }^2=\Vert {\mathbf{u}}_{N+1}{\Vert }^2\prod _{r=N+1}^j(1-{\xi }_r).\end{array}$$

Since $1\ge {\xi }_r\ge 0$ for $2>\alpha >0$, necessary and sufficient condition for $\Vert {\mathbf{u}}_j\Vert \to 0$ as $j\to \infty$, is given by
$$\begin{array}{r}\sum _{j=N+1}^{\infty }{\xi }_j=\infty .\end{array}$$

如果输入序列 $(2)$ 是一个随机序列，输入向量 ${\mathbf{x}}_j$ 是一个随机（向量）变量，那么:
$$\begin{array}{r}{\xi }_{N+1},{\xi }_{N+2},{\xi }_{N+3},\cdots \end{array}$$

is a sequence of random variables, 其中 ${\xi }_j$ 依赖于
$$\begin{array}{r}{\xi }_{N+1},{\xi }_{N+2},{\xi }_{N+3},\cdots ,{\xi }_{j-1}.\end{array}$$

提出
η j ≜ E { ξ j ∣ ξ N + 1 , ξ N + 2 , ⋯   , ξ j − 1 } , \begin{align} \eta_{j} \triangleq E\{\xi_{j} | \xi_{N+1}, \xi_{N+2}, \cdots, \xi_{j-1}\}, \end{align} ηj​≜E{ξj​∣ξN+1​,ξN+2​,⋯,ξj−1​},​​

并假设
$$\begin{array}{r}\sum _{j=N+1}^{\infty }{\eta }_j=+\infty .\end{array}$$

Then $(29)$ follows from Borel-Cantelli’s extended lemma，可以得出结论：$(32)$ 是收敛的充分必要条件：
$$\begin{array}{r}\Vert {\mathbf{u}}_j\Vert \to 0(j\to \infty ).\end{array}$$

For example, the assumption that in sequence $(30)$ there occurs an infinity of ${{\xi }_j}^{’}$s such that
$$\begin{array}{r}{\eta }_j>\delta ,\end{array}$$

where $\delta$ is a positive constant, is sufficient for $(33)$.

附录 II. Identification time 的估计

设输入序列 $(2)$ 中的 ${x_k}^{’}s$ 是独立随机变量，having the same symmetric distribution with respect to zero。定义输入向量 ${\mathbf{x}}_j(j\ge 1)$：
$$\begin{array}{r}{\mathbf{x}}_j\triangleq \text{col.}(x_{jN},x_{jN-1},x_{jN-2},\cdots ,x_{jN-N+1}).\end{array}$$

注意，在这种情况下，${{\mathbf{x}}_j}^{’}s$ 是独立的。Then，for $j\ge 1$，
$$\begin{array}{rl}{y}_j& \triangleq (\mathbf{w},{\mathbf{x}}_j),\\ z_j& \triangleq ({\mathbf{v}}_j,{\mathbf{x}}_j).\end{array}$$

由 $(24)$ 可得，
$$\begin{array}{rl}\Vert {\mathbf{u}}_{j+1}{\Vert }^2& =({\mathbf{X}}_j{\mathbf{u}}_j,{\mathbf{X}}_j{\mathbf{u}}_j)=({\mathbf{u}}_j,{\mathbf{X}}_j^2{\mathbf{u}}_j)\\ & ={\mathbf{u}}_j^{{}^{\prime }}{\mathbf{X}}_j^2{\mathbf{u}}_j,\end{array}$$

其中
$$\begin{array}{r}{\mathbf{X}}_j^2=\mathbf{I}-\alpha (2-\alpha )\frac{{\mathbf{x}}_j{\mathbf{x}}_j^{{}^{\prime }}}{\Vert {\mathbf{x}}_j{\Vert }^2}.\end{array}$$

$(36)$ 右边的最后一项是一个矩阵，其 $(p,q)$ 元素为：
$$\begin{array}{r}{r}_{pq}=\frac{x_{jN-p+1}{x}_{jN-q+1}}{p}(p,q=1,2,\cdots ,N),\end{array}$$

其中
$$\begin{array}{r}p=x_{jN}^2+x_{jN-1}^2+\cdots +x_{jN-N+1}^2.\end{array}$$

因为 ${x_{jN-p+1}}^{’}s(p=1,2,\cdots ,N)$ are assumed to be independent, identically distributed, and symmetrically distributed, 可以很容易看出：
$$\begin{array}{r}{\overline{\mathbf{r}}}_{pq}=\{\begin{array}{ll}0& (p\ne q),\\ N^{-1}& (p=q).\end{array}\end{array}$$

因此，由 $(36)$ 可得：
X 2 ‾ = { 1 − α ( 2 − α ) N − 1 } I . \begin{align} \overline {\mathbf X_{2}} = \{ 1 - \alpha (2 - \alpha) N^{-1} \} \mathbf I. \end{align} X2​​={1−α(2−α)N−1}I.​​

注意到随机向量 ${\mathbf{u}}_j$ 和 ${\mathbf{x}}_j$ 是独立的，因此 ${\mathbf{u}}_j$ 和 ${\mathbf{X}}_j^2$ 也是独立的，从 $(35)$ 和 $(40)$ 可以看出：
∥ u j + 1 ∥ 2 ‾ = { 1 − α ( 2 − α ) N − 1 } ∥ u j ∥ 2 ‾ , \begin{align} \overline {\Vert \mathbf u_{j+1} \Vert^{2}} = \{1 - \alpha (2 - \alpha) N^{-1}\} \overline {\Vert \mathbf u_{j} \Vert^{2}}, \end{align} ∥uj+1​∥2​={1−α(2−α)N−1}∥uj​∥2​,​​

或
∥ u j + 1 ∥ 2 ‾ = { 1 − α ( 2 − α ) N − 1 } j ∥ u 1 ∥ 2 . \begin{align} \overline {\Vert \mathbf u_{j+1} \Vert^{2}} = \{1 - \alpha (2 - \alpha) N^{-1}\}^{j} \Vert \mathbf u_{1} \Vert^{2}. \end{align} ∥uj+1​∥2​={1−α(2−α)N−1}j∥u1​∥2.​​

如前所述，令 ${\mathbf{v}}_1=0$，定义 the “expected normalized error” ${\overline{e}}_j$ at the $j$th step by the rms value of the normalized error; that is, by
$$\begin{array}{r}{\overline{e}}_j\triangleq \sqrt{(\frac{\Vert \mathbf{w}-{\mathbf{v}}_j\Vert }{\Vert \mathbf{w}\Vert }{)}^2}.\end{array}$$

对于给定的正数 $\xi$, 将使 ${\overline{e}}_j$ 等于或小于 $\xi$ 的第一个数字 $j$ 表示为 $\overline{T}(\xi )$，并将其称为 “expected time for identification.” （注意，已经使用 $N$ 对其进行了归一化，从 ${\mathbf{x}}_j$ 的定义看出来。）

从 $(42)$ 计算 $\overline{T}(\xi )$，
T ‾ ( ξ ) ≑ 2 N    In    ξ − 1 In    { 1 − α ( 2 − α ) N − 1 } − N + 1. \begin{align} \overline T(\xi) \doteqdot \frac{2N \; \text{In} \; \xi^{-1}}{\text{In} \; \{1 - \alpha (2 - \alpha) N^{-1}\}^{-N}} + 1. \end{align} T(ξ)≑In{1−α(2−α)N−1}−N2NInξ−1​+1.​​

当 $N$ 很大而 $\xi$ 较小的时候（比如，$N\ge 10,\xi \le 0.1$）, $(44)$ 可以被近似为：
$$\begin{array}{r}\overline{T}(\xi )\doteqdot \frac{2N}{\alpha (2-\alpha )}\text{In}{\xi }^{-1}.\end{array}$$

表 V 给出了使用 $(45)$ 获得的一些数值数据和实验数据的对比。The coincidence between them is fairly satisfactory. 此外，表 I 中的数据似乎 confirm $(45)$ aside from factor $N$. 值得一提的是，无论待辨识的权重函数是什么形式， $(45)$ 总是成立的。

最后，考虑使用 $2\ge \beta \ge 0$ 的 quantizing method 的情况，在这种情况下，
$$\begin{array}{r}{\mathbf{X}}_j^2=\mathbf{I}-\beta (2-\beta )\frac{(\text{sgn}{\mathbf{x}}_j){\mathbf{x}}_j^{{}^{\prime }}}{|{\mathbf{x}}_j|}\end{array}$$

被计算而不是 $(36)$，
$$\begin{array}{r}\overline{T}(\xi )\doteqdot \frac{2N}{\beta (2-\beta )}\text{In}{\xi }^{-1}.\end{array}$$

这定性而非定量地解释了表 VI 中的数据。