贝叶斯公式带来的思考
贝叶斯定理简介
https://www.cnblogs.com/zhoulujun/p/8893393.html
贝叶斯派既然把θ看做是一个随机变量,所以要计算θ的分布,便得事先知道θ的无条件分布,即在有样本之前(或观察到X之前),θ有着怎样的分布呢?
比如往台球桌上扔一个球,这个球落会落在何处呢?如果是不偏不倚的把球抛出去,那么此球落在台球桌上的任一位置都有着相同的机会,即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布,或的无条件分布。
至此,贝叶斯及贝叶斯派提出了一个思考问题的固定模式:
先验分布 π(θ)+ 样本信息χ⇒ 后验分布π(θ|x)
上述思考模式意味着,新观察到的样本信息将修正人们以前对事物的认知。换言之,在得到新的样本信息之前,人们对的认知是先验分布 π(θ),在得到新的样本信息后χ,人们对θ的认知为π(θ|x)。
而后验分布π(θ|x)一般也认为是在给定样本χ的情况下θ的条件分布,而使达到最大的值称为最大后θMD验估计,类似于经典统计学中的极大似然估计。
综合起来看,则好比是人类刚开始时对大自然只有少得可怜的先验知识,但随着不断是观察、实验获得更多的样本、结果,使得人们对自然界的规律摸得越来越透彻。所以,贝叶斯方法既符合人们日常生活的思考方式,也符合人们认识自然的规律,经过不断的发展,最终占据统计学领域的半壁江山,与经典统计学分庭抗礼。
最大似然估计思想:给定一组样本x1-xn,参数θ未知,想要求参数θ,可以转换成求给定样本θ,求哪一组θ可以使得样本x出现的概率最大,则该组θ就是要找的参数
最大似然估计
似然函数就是联合概率密度函数
已知10次抛硬币的结果,想求使得出现这样结果的概率最大对应的P值
数据清洗
PCA
特征共有150行,4列,X转置X得到44对称方阵,再算出该方阵的特征值λ1-4,以及对应的特征向量u1-4,特征向量相互垂直。λ越大对应的特征向量的方向就是主要的方向。(要降成2维则将4维数据映射到λ前2大对应的特征向量的方向上)
另一个解释:方差越大代表保留的信息越多