AEP 笔记及部分习题

Q3.8：
    
解：                  \\
    \textbf{(a)}      \\
        由大数定理：
        \begin{align}
         -\frac{\log_2 q(X_1,X_2,...,X_n)}{n} &= -\frac{\sum_{i=0}^n \log_2 q(X_i)}{n}    \notag \\
                                              &\rightarrow E\log_2q(X)                    \notag \\
        \end{align}

第二问显然等于E(log(q/p))=D(q//p)