BCJR 论文翻译

BCJR 论文翻译

L. R. Bahl, J. Cocke, F,Jelinek, and J. Raviv, Optimal decoding of linear codes for minimizing symbol error rate, IEEE Trans. Inform. Theory, 1974; 20(3) :284～287. DOI: 10.1109/TIT.1974.1055186

最小化符号错误率的线性码的最优译码

摘要

考虑了通过离散无记忆(DMC, discrete memoryless channel)信道观测到的马尔可夫源的状态和转移的后验概率估计的一般问题。以最小化符号错误概率解线性码和卷积码被证明是这个问题的一个特例。导出了一种最优解码算法。

可以看到 BCJR 算法是适用于马尔可夫源通过DMC信道，使状态和转移的后验概率最小化这种情况

一、引言

Viterbi 算法是一种对卷积码来说最小化码字错误概率的最大似然译码方法。然而，该算法并不一定使得符号(或比特)错误的概率最小化。本文，我们推导出了线性码最小化符号错误概率的最优译码方法。

我们解决的是更一般的问题，即估计通过DMC噪声信道，观测到的Markov源的状态和转移的后验概率。线性码的译码算法被证明是该问题的一个特例。

我们推导的算法在概念上与Chang和Hancock去除码间串扰的方法相似。Baum和Petrie的一些工作也与这个问题有关。McAdam等也独立开发了与该对应关系类似的算法。

二、一般性问题

考虑图1的传输情况。

假设信源为离散时间有限状态的 Markov 过程。Markov 源的 M 个不同状态用整数 m 进行索引，$m=0,1,\dots ,M-1$。设Markov 源在 $t$ 时刻的状态为 $S_t$，其输出为 $X_t$，定义一个从 $t$ 到 $t^{\prime }$ 的序列为信源状态扩展 $S_t^{t^{\prime }}=S_t,S_{t+1},\cdots ,S_{t^{\prime }}$，对应的输出序列为 $X_t^{t^{\prime }}=X_t,X_{t+1},\cdots ,X_{t^{\prime }}$。

Markov 源的状态转移由转移概率决定
p t ( m ∣ m ′ ) = P r { S t = m ∣ S t − 1 = m ′ } p_{t}(m\mid m^{\prime})=\mathrm{Pr}\{S_{t}=m\mid S_{t-1}=m^{\prime}\} pt​(m∣m′)=Pr{St​=m∣St−1​=m′}
并依概率输出
q t ( X ∣ m ′ , m ) = Pr ⁡ { X t = X ∣ S t − 1 = m ′ ; S t = m } q_{t}(X\mid m^{\prime},m)=\Pr\{X_{t}=X\mid S_{t-1}=m^{\prime};S_{t}=m\} qt​(X∣m′,m)=Pr{Xt​=X∣St−1​=m′;St​=m}
其中 $X$ 属于某个有限离散符号集。

Markov源从初始状态 $S_0=O$ 开始，产生一个输出序列 $X_1^{\tau }$，终止于终端状态 $S_{\tau }=O$。$X_1^{\tau }$ 是含噪DMC信道的输入，其输出为序列 $Y_1^{\tau }=Y_1,Y_2,\cdots ,Y_{\tau }$。DMC信道的转移概率由 $R(\cdot |\cdot )$ 定义，从而对所有的 $1\le t\le \tau$。
P r { Y 1 t ∣ X 1 t } = ∏ j = 1 t R ( Y j ∣ X j ) \mathrm{Pr}\{Y_{1}^{t}\mid X_{1}^{t}\}=\prod_{j=1}^{t}R(Y_{j}\mid X_{j}) Pr{Y1t​∣X1t​}=j=1∏t​R(Yj​∣Xj​)
解码器的目标是检测 $Y_1^{\tau }$，并估计 Markov 源状态和转移的后验概率，例如，条件概率
Pr ⁡ { S t = m ∣ Y 1 τ } = Pr ⁡ { S t = m ; Y 1 τ } / P r { Y 1 τ } \Pr\{S_{t}=m\mid Y_{1}{}^{\tau}\}=\Pr\{S_{t}=m;{Y_{1}}^{\tau}\}/\mathrm{Pr}\{Y_{1}{}^{\tau}\} Pr{St​=m∣Y1​τ}=Pr{St​=m;Y1​τ}/Pr{Y1​τ}
和
P r { S t − 1 = m ′ ; S t = m ∣ Y 1 τ } = P r { S t − 1 = m ′ ; S t = m ; Y 1 τ } / P r { Y 1 τ } {\rm{Pr}}\{ {S_{t - 1}} = m';{S_t} = m\mid Y_1^\tau \} = {\rm{Pr}}\{ {S_{t - 1}} = m';{S_t} = m;Y_1^\tau \} /{\rm{Pr}}\{ Y_1^\tau \} Pr{St−1​=m′;St​=m∣Y1τ​}=Pr{St−1​=m′;St​=m;Y1τ​}/Pr{Y1τ​}
对该问题进行图示化的解释是相当有用的。时不变 Markov 源一般用图 2 (a)中的状态转移图来表示。节点是状态，分支代表具有非零概率的转移。如果同时用时间索引 $t$ 和状态索引 $m$ 对状态进行索引，我们得到了图 2 (b)的"trellis"图。trellis 图显示了状态序列的时间进程。对于每一个状态序列 $S_1^{\tau }$ 都有一条唯一的路径穿过 trellis 图，反之亦然。

如果 Markov 信源是时变的，那么我们就不能用状态转移图来表示它；然而，显而易见的是，我们可以为其状态序列构造一个网格。

与网格中的每个节点相关联的是对应的后验概率 P r { S t = m ∣ Y 1 τ } {\rm{Pr}}\{S_{t}=m\mid Y_{1}^{\tau}\} Pr{St​=m∣Y1τ​}，与网格中每个分支相关联的则是对应的后验概率 P r { S t − 1 = m ′ ; S t = m ∣ Y 1 τ } \mathrm{Pr}\{S_{t-1}=m^{\prime};S_{t}=m\mid Y_{1}^{\tau}\} Pr{St−1​=m′;St​=m∣Y1τ​}。译码器的目标是examine $Y_1^{\tau }$ 并计算这些后验概率。

为了便于阐述，联合概率的推导更为简单
λ t ( m ) = P r { S t = m ; Y 1 τ } \lambda_{t}(m)=\mathrm{Pr}\{S_{t}=m;Y_{1}^{\tau}\} λt​(m)=Pr{St​=m;Y1τ​}
以及
σ t ( m ′ , m ) = P r { S t − 1 = m ′ ; S t = m ; Y 1 τ } \sigma_{t}(m^{\prime},m)=\mathrm{Pr}\{S_{t-1}=m^{\prime};S_{t}=m;Y_{1}^{\tau}\} σt​(m′,m)=Pr{St−1​=m′;St​=m;Y1τ​}
因为，对于给定的 $Y_1^{\tau }$ ， P r { Y 1 τ } {\rm{Pr}}\{ Y_{1}^{\tau}\} Pr{Y1τ​} 是一个常数，可以将 ${\lambda }_t(m)$ 和 ${\sigma }_t(m^{\prime },m)$ 除以 P r { Y 1 τ } {\rm{Pr}}\{ Y_{1}^{\tau}\} Pr{Y1τ​} 得到公式 (4) 和 (5).或者，我们可以将 ${\lambda }_t(m)$ 和 ${\sigma }_t(m^{\prime },m)$ 归一化到 $1$，能得到相同的结果。我们现在推导出获得概率 ${\lambda }_t(m)$ 和 ${\sigma }_t(m^{\prime },m)$ 的方法。

定义概率函数
α t ( m ) = P r { S t = m ; Y 1 t } β t ( m ) = P r { Y t + 1 t ∣ S t = m } γ t ( m ′ , m ) = P r { S t = m ; Y t ∣ S t − 1 = m ′ } \begin{aligned} \alpha_t(m)&=\mathrm{Pr}\{S_t=m;Y_1^t\}\\\\ \beta_t(m)&=\mathrm{Pr}\{Y_{t+1}^t\mid S_t=m\}\\\\ \gamma_t(m^{\prime},m)&=\mathrm{Pr}\{S_t=m;Y_t\mid S_{t-1}=m^{\prime}\}\end{aligned} αt​(m)βt​(m)γt​(m′,m)​=Pr{St​=m;Y1t​}=Pr{Yt+1t​∣St​=m}=Pr{St​=m;Yt​∣St−1​=m′}​
那么
λ t ( m ) = P r { S t = m ; Y 1 t } ⋅ P r { Y t + 1 τ ∣ S t = m ; Y 1 t } = α t ( m ) ⋅ P r { Y t + 1 τ ∣ S t = m } = α t ( m ) ⋅ β t ( m ) . \begin{aligned} \lambda_{t}(m)& =\mathrm{Pr}\{S_{t}=m;{Y}_{1}^{t}\}\cdot\mathrm{Pr}\{{Y}_{t+1}^{\tau}\mid\boldsymbol{S}_{t}=m;{Y}_{1}^{t}\} \\ &=\alpha_{t}(m)\cdot\mathrm{Pr}\{Y_{t+1}^{\tau}\mid S_{t}=m\} \\ &=\alpha_{t}(m)\cdot\beta_{t}(m). \end{aligned} λt​(m)​=Pr{St​=m;Y1t​}⋅Pr{Yt+1τ​∣St​=m;Y1t​}=αt​(m)⋅Pr{Yt+1τ​∣St​=m}=αt​(m)⋅βt​(m).​
中间等式由Markov性质可知，若 $S_t$ 已知，则 $t$ 时刻后的事件不依赖于 $Y_1^t$。

类似的
σ t ( m ′ , m ) = P r { S t − 1 = m ′ ; S t = m ; Y 1 τ } = P r { S t − 1 = m ′ ; S t = m ; Y 1 t − 1 ; Y t ; Y t + 1 τ } = P r { S t − 1 = m ′ ; S t = m ; Y 1 t − 1 ; Y t } ⋅ P r { Y t + 1 τ ∣ S t − 1 = m ′ ; S t = m ; Y 1 t − 1 ; Y t } = P r { S t − 1 = m ′ ; Y 1 t − 1 } ⋅ P r { S t = m ; Y t ∣ S t − 1 = m ′ ; Y 1 t − 1 } ⋅ P r { Y t + 1 τ ∣ S t = m } = P r { S t − 1 = m ′ ; Y 1 t − 1 } ⋅ P r { S t = m ; Y t ∣ S t − 1 = m ′ } ⋅ P r { Y t + 1 τ ∣ S t = m } = α t − 1 ( m ′ ) ⋅ γ t ( m ′ , m ) ⋅ β t ( m ) \begin{array}{l} {\sigma _t}(m',m)\\ = {\rm{Pr}}\{ {S_{t - 1}} = m';{S_t} = m;Y_1^\tau \} \\ = {\rm{Pr}}\{ {S_{t - 1}} = m';{S_t} = m;Y_1^{t - 1};{Y_t};Y_{t + 1}^\tau \} \\ = {\rm{Pr}}\{ {S_{t - 1}} = m';{S_t} = m;Y_1^{t - 1};{Y_t}\} \cdot {\rm{Pr}}\{ \left. {Y_{t + 1}^\tau } \right|{S_{t - 1}} = m';{S_t} = m;Y_1^{t - 1};{Y_t}\} \\ = {\rm{Pr}}\{ {S_{t - 1}} = m';Y_1^{t - 1}\} \cdot {\rm{Pr}}\{ {S_t} = m;{Y_t}|{S_{t - 1}} = m';Y_1^{t - 1}\} \cdot {\rm{Pr}}\{ Y_{t + 1}^\tau \mid {S_t} = m\} \\ = {\rm{Pr}}\{ {S_{t - 1}} = m';Y_1^{t - 1}\} \cdot {\rm{Pr}}\{ {S_t} = m;{Y_t}|{S_{t - 1}} = m'\} \cdot {\rm{Pr}}\{ Y_{t + 1}^\tau \mid {S_t} = m\} \\ = {\alpha _{t - 1}}(m') \cdot {\gamma _t}(m',m) \cdot {\beta _t}(m) \end{array} σt​(m′,m)=Pr{St−1​=m′;St​=m;Y1τ​}=Pr{St−1​=m′;St​=m;Y1t−1​;Yt​;Yt+1τ​}=Pr{St−1​=m′;St​=m;Y1t−1​;Yt​}⋅Pr{Yt+1τ​ ​St−1​=m′;St​=m;Y1t−1​;Yt​}=Pr{St−1​=m′;Y1t−1​}⋅Pr{St​=m;Yt​∣St−1​=m′;Y1t−1​}⋅Pr{Yt+1τ​∣St​=m}=Pr{St−1​=m′;Y1t−1​}⋅Pr{St​=m;Yt​∣St−1​=m′}⋅Pr{Yt+1τ​∣St​=m}=αt−1​(m′)⋅γt​(m′,m)⋅βt​(m)​
对于 $t=1,2,\cdots ,\tau$
α t ( m ) = ∑ m ′ = 0 M − 1 P r { S t − 1 = m ′ ; S t = m ; Y 1 t } = ∑ m ′ P r { S t − 1 = m ′ ; Y 1 t − 1 } ⋅ P r { S t = m ; Y t ∣ S t − 1 = m ′ } = ∑ m ′ α t − 1 ( m ′ ) ⋅ γ t ( m ′ , m ) . \begin{aligned} \alpha_{t}(m)& =\sum_{m^{\prime}=0}^{M-1}\mathrm{Pr}\{S_{t-1}=m^{\prime};S_{t}=m;{Y_{1}^{t}}\} \\ &=\sum_{m^{\prime}}\mathrm{Pr}\{S_{t-1}=m^{\prime};Y_{1}^{t-1}\}\cdot\mathrm{Pr}\{S_{t}=m;Y_{t}\mid S_{t-1}=m^{\prime}\} \\ &=\sum_{m^{\prime}}\alpha_{t-1}(m^{\prime})\cdot\gamma_{t}(m^{\prime},m).& \end{aligned} αt​(m)​=m′=0∑M−1​Pr{St−1​=m′;St​=m;Y1t​}=m′∑​Pr{St−1​=m′;Y1t−1​}⋅Pr{St​=m;Yt​∣St−1​=m′}=m′∑​αt−1​(m′)⋅γt​(m′,m).​​
对于 $t=0$，我们有边界条件
$$\begin{gathered} {\alpha }_0(0)=1, \\ {\alpha }_0(m)=0,\text{for }m\ne 0 \end{gathered}$$
类似的，对于 $t=1,2,\cdots ,\tau -1$
β t ( m ) = ∑ m ′ = 0 M − 1 P r { S t + 1 = m ′ ; Y t + 1 τ ∣ S t = m } = ∑ m ′ P r { S t + 1 = m ′ ; Y t + 1 ∣ S t = m } ⋅ P r { Y t + 2 τ ∣ S t + 1 = m ′ } = ∑ m ′ β t + 1 ( m ′ ) ⋅ γ t + 1 ( m , m ′ ) . \begin{aligned} \beta_{t}(m)& =\sum_{m^{\prime}=0}^{M-1}\mathrm{Pr}\{S_{t+1}=m^{\prime};Y_{t+1}^{\tau}|S_{t}=m\} \\ &=\sum_{m^{\prime}}\mathrm{Pr}\left\{S_{t+1}=m^{\prime};Y_{t+1}\mid S_{t}=m\right\}\cdot\mathrm{Pr}\left\{Y_{t+2}^{\tau}\mid S_{t+1}=m^{\prime}\right\} \\ &=\sum_{m^{\prime}}\beta_{t+1}(m^{\prime})\cdot\gamma_{t+1}(m,m^{\prime}).& \end{aligned} βt​(m)​=m′=0∑M−1​Pr{St+1​=m′;Yt+1τ​∣St​=m}=m′∑​Pr{St+1​=m′;Yt+1​∣St​=m}⋅Pr{Yt+2τ​∣St+1​=m′}=m′∑​βt+1​(m′)⋅γt+1​(m,m′).​​
合适的边界条件为
$$\begin{gathered} {\beta }_{\tau }(0)=1 \\ {\beta }_{\tau }(m)=0,\text{for }m\ne 0. \end{gathered}$$
由式 (11) 和式 (13) 可知，${\alpha }_t(m)$ 和 ${\beta }_t(m)$ 是递推可得的。现在
γ t ( m ′ , m ) = ∑ X P r { S t = m ∣ S t − 1 = m ′ } ⋅ P r { X t = X ∣ S t − 1 = m ′ , S t = m } ⋅ P r { Y t ∣ X } = ∑ X p t ( m ∣ m ′ ) ⋅ q t ( X ∣ m ′ , m ) ⋅ R ( Y t , X ) ( 9 ) \begin{aligned} \gamma_{t}(m^{\prime},m)& =\sum_{X}\mathbf{Pr}\{S_{t}=m\mid S_{t-1}=m^{\prime}\} \\ &\cdot\mathrm{Pr}\{X_{t}=X|S_{t-1}=m^{\prime},S_{t}=m\}\cdot\mathrm{Pr}\{Y_{t}|X\} \\ &=\sum_{\mathbf{X}}p_{t}(m\mid m^{\prime})\cdot q_{t}(X\mid m^{\prime},m)\cdot R(Y_{t},X)\quad(9) \end{aligned} γt​(m′,m)​=X∑​Pr{St​=m∣St−1​=m′}⋅Pr{Xt​=X∣St−1​=m′,St​=m}⋅Pr{Yt​∣X}=X∑​pt​(m∣m′)⋅qt​(X∣m′,m)⋅R(Yt​,X)(9)​
其中，(15) 式的求和为所有可能的输出符号 $X$。

现在我们可以概括译码器计算 ${\lambda }_t(m)$ 和 ${\sigma }_t(m^{\prime },m)$ 的操作。

1. 根据 (12), (14) 式初始化 ${\alpha }_0(m)$ 和 ${\beta }_{\tau }(m)$.
2. 一旦接收到 $Y_t$，译码器使用 (15) 和 (11) 计算 ${\gamma }_t(m^{\prime },m)$ 和 ${\alpha }_t(m)$ 。对于所有的 $t$ 和 $m$，存储所获得的 ${\alpha }_t(m)$ 的值.
3. 在得到完整序列 $Y_1^{\tau }$ 之后，译码器用公式 (13) 递推计算 ${\beta }_t(m)$。当 ${\beta }_t(m)$ 计算完后，通过公式 (9) (10) 计算 ${\lambda }_t(m)$ 和 ${\sigma }_t(m^{\prime },m)$

我们现在讨论该算法在线性码译码中的应用。

---

小结：
该算法针对离散时间有限状态的 Markov 过程，认为信源在 $t$ 时刻状态为 $S_t$，状态转移对应的信源输出为 $X_t$，过DMC信道，信道输出为 $Y_t$。将需要计算的后验概率 P r { X 1 t ∣ Y 1 t } \mathrm{Pr}\{X_{1}^{t}\mid Y_{1}^{t}\} Pr{X1t​∣Y1t​} 转化为篱笆图上点和边概率计算，及计算 λ t ( m ) = P r { S t = m ; Y 1 τ } \lambda_{t}(m)=\mathrm{Pr}\{S_{t}=m;Y_{1}^{\tau}\} λt​(m)=Pr{St​=m;Y1τ​} 和 σ t ( m ′ , m ) = P r { S t − 1 = m ′ ; S t = m ; Y 1 τ } \sigma_{t}(m^{\prime},m)=\mathrm{Pr}\{S_{t-1}=m^{\prime};S_{t}=m;Y_{1}^{\tau}\} σt​(m′,m)=Pr{St−1​=m′;St​=m;Y1τ​} 并将其转化为计算 ${\alpha }_t(m)$ ， ${\beta }_t(m)$ 和 ${\gamma }_t(m^{\prime },m)$，并推到其快速计算的递推公式。

当问题可以转化为离散时间有限状态的 Markov 过程时，给出 $S_t$，$X_t$ ，$Y_t$ 定义，给出 ${\gamma }_t(m^{\prime },m)$ 如何计算，${\alpha }_0(m)$ 、 ${\beta }_{\tau }(m)$如何初始化，就可以用 BCJR 计算后验概率。

三、在卷积码中的应用

考虑一个整体约束长度为 $k_{0}v$ ，码率为 $k_0/n_0$ 的二进制卷积编码器。$t$ 时刻输入到编码器的是一组码字 $I_t=(i_t^{(1)},i_t^{(2)},\cdots ,i_t^{(k_0)})$，对应的输出是 $X_t=({x_t}^{(1)},\cdots ,{x_t}^{(n_0)})$。编码器可以由 $k_0$ 个移位寄存器实现，每个移位寄存器的长度为 $v$，编码器的状态就是这些寄存器的内容，即最近输入的 $v$ 个码字组。将状态表示为 $kv$ 元组，可以得到
$$S_t=(s_t^{(1)},s_t^{(2)},\cdots ,s_t^{(k_0\nu )})=(I_t,I_{t-1},\cdots ,I_{t-\nu +1})$$

一般来说，编码器以 $S_0=O$ 的状态开始。信息序列 $I_1^T$ 是编码器的输入，后面是所有零输入的长度为 $v$ 的码块，即 $I_{T+1}^{\tau }=O,O,\cdots ,O$，其中 $\tau =t+v$ ，使得编码器终止在状态 $S_{\tau }=O$。文献[2]提到的卷积码的网格结构是众所周知的，我们假设读者熟悉它。作为例子，我们在图3中给出了码率为 $\frac{1}{2}$ ，$v=2,\tau =6$ 的网格图。网格的转移概率 $p_t(m\mid m^{\prime })$ 由输入统计量决定。一般来说，我们假设所有的输入序列对于 $t\le T$ 都是等概率的，并且由于每个状态都有 $2^{k_o}$ 个可能的转移，所以每个转移概率为 $2^{-k_o}$ 。对于 $t>T$，每个状态只可能有一个转移，且转移概率为 $1$。输出 $X_t$ 是转移的确定函数，因此，对于每个转移，在二进制 $n$ 元组的字母表上都有一个 $0-1$ 的概率分布 $q_t(X\mid m^{\prime },m)$。对于时不变码 $q_t(\cdot |\cdot )$ 独立于 $t$。如果输出序列是在具有符号转移概率 $r(\cdot |\cdot )$ 的DMC上发送的，则导出的码字组转移概率为
$$R(Y_t\mid X_t)=\prod _{j=1}^{n_0}r(y^{(j)}\mid x_t^{(j)})$$
其中 $Y_t=({y_t}^{(1)},\cdots ,{y_t}^{(n_0)})$ 是接收机在 $t$ 时刻接收到的码组。例如，在转移概率为 $p_c$ 的 BSC 信道中
$$R(Y_t\mid X_t)=(p_c{)}^d(1-p_c{)}^{n-d}$$
其中，$d$ 为 $X_t$ 与 $Y_t$ 之间的汉明距离。

为了最小化符号错误概率，我们必须从接收序列 $Y_1^{\tau }$ 中确定最有可能的输入位 $i_t^{(j)}$。我们假设 ${\lambda }_t(m)$ 根据上一节所讲已经被计算出。设 $A_t^{(j)}$是状态 $S_t$ 的集合，使得 $s_t^{(j)}=0$。注意到 $A_t^{(j)}$ 不依赖于 $t$。则由(16)我们有
$$s_t^{(j)}=i_t^{(j)},j=1,2,\cdots ,k_0$$
这意味着
Pr { i t ( j ) = 0 ; Y 1 τ } = ∑ S t ∈ A t ( j ) λ t ( m ) . \text{Pr}\{i_{t}^{(j)}=0;Y_{1}^{\tau}\}=\sum_{S_{t}\in A_{t}^{(j)}}\lambda_{t}(m). Pr{it(j)​=0;Y1τ​}=St​∈At(j)​∑​λt​(m).
通过 P r { Y 1 τ } = λ τ ( 0 ) \mathrm{Pr}\{Y_{1}^{\tau}\}=\lambda_{\tau}(0) Pr{Y1τ​}=λτ​(0) 归一化
Pr { i t ( j ) = 0 ∣ Y 1 τ } = 1 λ t ( 0 ) ∑ S t ∈ A t ( j ) λ t ( m ) \text{Pr}\{i_{t}^{(j)}=0\mid Y_{1}^{\tau}\}=\frac{1}{\lambda_{t}(0)}\sum_{S_{t}\in A_{t}^{(j)}}\lambda_{t}(m) Pr{it(j)​=0∣Y1τ​}=λt​(0)1​St​∈At(j)​∑​λt​(m)
如果 P r { i t ( j ) = 0 ∣ Y 1 τ } ≥ 0.5 \mathrm{Pr}\{i_{t}^{(j)}=0|Y_{1}^{\tau}\}\geq0.5 Pr{it(j)​=0∣Y1τ​}≥0.5，译码 $i_t^{(j)}=0$，否则 $i_t^{(j)}=1$。

有时感兴趣的是确定编码器输出数字的后验概率，即 Pr { x t ( j ) = 0 ∣ Y 1 τ } \text{Pr}\{x_{t}{}^{(j)}=\mathbf{0}\mid Y_{1}{}^{\tau}\} Pr{xt​(j)=0∣Y1​τ} 。需要这种概率的一个例子是自举混合译码[6]。设 $B_t^{(j)}$是转移 $S_{t-1}=m^{\prime }\to S_t=m$ 的集合，使得该转移上的第 $j$ 个输出位 $x_t^{(j)}$ 为 $0$。对于时不变码，$B_t^{(j)}$ 独立于 $t$ ，因此
P r { x t ( j ) = 0 ; Y 1 τ } = ∑ ( m ′ , m ) ∈ B t ( j ) σ t ( m ′ , m ) \mathrm{Pr}\{x_{t}^{(j)}=0;{Y_{1}}^{\tau}\}=\sum_{(m^{\prime},m)\in B_{t}^{(j)}}\sigma_{t}(m^{\prime},m) Pr{xt(j)​=0;Y1​τ}=(m′,m)∈Bt(j)​∑​σt​(m′,m)
其可以被归一化以给出 Pr { x t ( j ) = 0 ∣ Y 1 τ } \text{Pr}\{x_{t}{}^{(j)}=\mathbf{0}\mid Y_{1}{}^{\tau}\} Pr{xt​(j)=0∣Y1​τ} 。我们可以通过对适当的 ${\lambda }_t(m)$ 求和来获得作为状态函数的任何事件的概率；同样，${\sigma }_t(m^{\prime },m)$可以用于获得作为转换函数的任何事件的概率。

遗憾的是，该算法需要较大的存储和相当大的计算量。 ${\alpha }_t(m)$ 的所有值都必须被存储，这需要大约 $2^{k{v}_0}\cdot \tau$ 的存储索引。存储大小随约束长度呈指数增长，随块长度呈线性增长。在确定每个 $t$ 的 ${\alpha }_t(m)$（或 ${\beta }_t(m)$ ）时的计算次数是分别为 $2^{k_o}$ 个数的 $M\cdot 2^{k_o}$ 次乘法和 $M$ 次加法。${\gamma }_t(m^{\prime },m)$ 的计算非常简单，在实践中最容易通过表查找来完成。因此，在步骤 3) 中重新计算${\gamma }_t(m^{\prime },m)$ 比在步骤 2) 中保存它们更容易。计算 ${\lambda }_t(m)$ 需要对每个时刻 $t$ 进行 $M$ 次乘法运算，计算输入位的后验概率需要$k_{0}M/2$ 次加法运算。相比之下，Viterbi 算法需要计算基本上类似于每个 $t$ 时刻具有 $M\cdot 2^{k_o}$ 加法和 $M\cdot 2^{k_o}$ 次比较的 ${\gamma }_t(m^{\prime },m)$ 的计算量。鉴于算法的复杂性，仅对较短的约束长度和较短的块长度是实用的

四、在分组码的应用

五、评论与概括

最小化码字或符号错误概率的暴力方法是这样的：给定接收序列 $Y_1^{\tau }$，我们可以为每个码字 $X_1^{\tau }$ 计算其后验概率 P r { X 1 t ∣ Y 1 t } \mathrm{Pr}\{X_{1}^{t}\mid Y_{1}^{t}\} Pr{X1t​∣Y1t​}。为了最小化码字错误率，需要我们从所有码字中挑选出 P r { X 1 t ∣ Y 1 t } \mathrm{Pr}\{X_{1}^{t}\mid Y_{1}^{t}\} Pr{X1t​∣Y1t​} 值最大的码字。为了最小化第 $j$ 个输入数字的符号错误概率，我们计算 ∑ P r { X 1 t ∣ Y 1 t } \sum\mathrm{Pr}\{X_{1}^{t}\mid Y_{1}^{t}\} ∑Pr{X1t​∣Y1t​} ，其中求和覆盖所有第 $j$ 个输入数字为 $0$ 的码字；如果这个求和大于 $0.5$，我们将第 $j$ 个输入位译码为 $0$。在线性码的情况下，我们可以利用码的状态结构来避免对每个可能的码字计算 P r { X 1 t ∣ Y 1 t } \mathrm{Pr}\{X_{1}^{t}\mid Y_{1}^{t}\} Pr{X1t​∣Y1t​} 。暴力方法的复杂度与码字个数成正比，即正比于 $2^k$。在卷积码 $k=k_{0}T\gg k_{0}v$ ，使得网格译码方法具有吸引力。在分组码中，只要 $r<k$，即高码率时，网格译码的方法就具有优势。

本文这种对应关系推导出的算法由于增加了复杂度，不能被认为是维特比译码的一个有吸引力的替代方案。尽管Viterbi译码在误比特率意义上不是最优的，但在大多数感兴趣的应用中，这两种算法的性能实际上是相同的。该算法的主要优点是可以获得信息位和信道的后验概率，这在bootstrap译码等应用中很有用。

算法的许多有趣的推广是可能的，我们指出了几个。首先，可以通过改变 ${\alpha }_t(m)$ 和 ${\beta }_t(m)$ 的初始条件来消除已知源的起始状态和终止状态的限制。其次，通过将状态空间扩展为编码器状态和信道状态的交叉积，可以使该算法适用于所有有限状态信道。最后，向非二进制代码的扩展非常明显。