logsumexp与路径概率

1.单条路径的概率

1.1 已知单点概率求路径概率

        已知每个节点概率分别是，求整条路径概率：

1.2 已知单点概率log值求路径概率log值

         假设现在只已知每个节点概率的log值，求整条路径概率：

        注意当已知的是单点概率的log值后， 新增一个节点只需要加上新增节点概率的log值。

2.多条路径的概率

2.1 已知多条路径概率log值求全部路径的概率log值

        如果已知两条路径概率的log值分别是。两条路径的概率和的log为：

        从上面式子可以看到，右边很明显就是两条路径概率和的log值，为什么要写成左边比较复杂的情况了，1是因为假设我们现在只知道路线概率的log值，而不知道对应的概率；2是因为左边这个在计算路径概率时是一个常用的函数即：logsumexp，从字面意思看就是先求exp，再求和，再求log，注意这是一个很重要的公式。

2.2 已知多条路径概率log值及新增节点概率求全部路径概率的log值 

        当已知路径a-b-c概率log值为，路径m-n-z概率log值为，并且往后扩展一个节点，那么两条路径的概率和的log值如何求？综合1.2及2.1结论可得：

 3.应用

        作者看ctc、crf等模型代码的时候经常会出现logsumexp计算，而且是反复出现，上面公式看起来比较简单，当只要掌握，看相关代码时就不会懵了。