PRML-读书笔记（一）介绍 书中用到…

    PRML是Bishop的也是经典著作啊

    首先介绍了PR是起源自engineering，ML起源于CS，其实是一个领域的不同方面而已。

    整篇要使用的了3大工具：probability theory, decision theory, and information theory。

    1，probability theory    

    Probability theory provides a consistent framework for the quantification and manipulation of uncertainty and forms one of the central foundations for pattern recognition.

    When combined with decision theory,it allows us to make optimal predictions given all the information available to us, even though that information may be incomplete or ambiguous.

     

    贝叶斯公式：  

    p(B)是先验概率，p(B|F)是后验概率

    如果p(X, Y)=p(X)p(Y) 那么Y和X是独立的，这样的话p(Y|X)=p(Y)。

   

    概率密度函数：

    if the probability of a real-valued variable x falling in the interval(x, x+δx)is given by p(x)δxforδx→0, then p(x)is called the probability density over x.

                   

    概率密度函数需要满足的条件是：

             

    如果x=g(y) 那么：

                   

    累积分布函数：

                   
   

    求和以及乘积法则以及贝叶斯定理应用于概率密度函数上，就得到：

                       

    期望以及协方差：

    The average value of some function f(x)under a probability distribution p(x)is called the expectation of f(x)and will be denoted by E[f].

    离散变量以及连续变量形式分别为：

   

    如果是从概率分布或者概率密度上面的N个点，那么期望能够近似的表示为：

     

    在多变量情况下，Ex[f(x, y)]表示函数 f(x, y)在x分布上的均值。

   还考虑关于条件分布的条件期望：

               

    函数f(x)的方差表示为：

                 

    它提供了对f(x)与它的方差之间的差异性的一种测量。

    展开后得到：

                 

    对于两个变量的协方差表示为：

                   

    如果x,y 是向量的话，那么协方差就是矩阵：

                   

    变量自身的协方差表示为： cov[x]≡cov[x,x]

  

  贝叶斯概率：