机器学习：贝叶斯公式的理解及运用—图书分类

一、贝叶斯公式

贝叶斯定理是关于随机事件A和事件B的条件概率的一个定理。
解决问题：已知B1,B2,…,Bn互斥且构成一个完全事件且已知它们的概率P(B1),P(B2)…P(Bn)。现观察到某事件A与B1,B2…Bn相伴出现，且已知条件概率P(A|Bi)求P(Bi|A)。

条件概率公式

P(A|B) ： 指事件A在事件B发生的条件下发生的概率，读作“A在B发生的条件下发生的概率”。
若只有 A/B两个事件，那么P(A|B)=P(AB)/P(B)

联合概率

P(AB)：指两个时间共同发生的概率
表示方式：P(A|B)/P(A,B)/P(A∩B)

边缘概率

P(A)/P(B) ：指某个事件发生的概率，与其他事件无关。
边缘化：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。
A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。

全概率公式

定义：完备事件组/样本空间的划分
设B1,B2…Bn是一组事件，若

称B1,B2,…Bn是样本空间Ω的一个划分或称为样本空间Ω的一个完备事件组。
公式：满足如上条件且P(Bi)>0( i=1,2,…,n)
则对任一事件B，有

贝叶斯公式

设B1,B2,…Bn是一完备事件组，则对任一事件A, P(A)>0，有

源自百度百科

二、实例运用

1.吸毒者检测：

• 假设一个常规的检测结果的敏感度与可靠度均为99%，也就是说，当被检者吸毒时，每次检测呈阳性（+）的概率为99%。而被检者不吸毒时，每次检测呈阴性（-）的概率为99%。
• 假设某公司将对其全体雇员进行一次鸦片吸食情况的检测，已知0.5%的雇员吸毒。
• 解决的问题是：每位医学检测呈阳性的雇员吸毒概率有多高？令‘A’为雇员吸毒事件，‘B’为雇员不吸毒事件，‘+’为检测呈阳性事件
  依题意得:
  P(A)=0.005 （雇员吸毒）
  P(B)=0.995 (雇员不吸毒，也就是1-P(A))
  P(+|A)=0.99 （吸毒者阳性检出率，准确率为99%）
  P(+|B)=0.01 （不吸毒者阳性检出率，1-P(+|A)）
  P(+)为不考虑其他因素的阳性检出率
  P(+)=P(+A)+P(+B)=P(A)P(+|A)+P(B)P(+|B)=0.0149
  综上所述，可以计算出某人检测呈阳性时确实吸毒的概率P(A|+)
  
• 尽管我们的检测结果可靠性很高，但是只能得出如下结论：如果某人检测呈阳性，那么此人是吸毒的概率只有大 约33%，也就是说此人不吸毒的可能性比较大。我们测试的条件（本例中指A，雇员吸毒）越难发生，发生误判的可能性越大。
• 但如果让此人再次复检（相当于P(A)=33.2215%，为吸毒者概率，替换了原先的0.5%），再使用贝叶斯定理计算，将会得到此人吸毒的概率为98.01%。但这还不是贝叶斯定理最强的地方，如果让此人再次复检，再重复使用贝叶斯定理计算，会得到此人吸毒的概率为99.98%（99.9794951%）已经超过了检测的可靠度。

2.图书分类

判断一本书是哪一类：哲学、社科、自然科学、综合

（1）假设每本书都有如下15个标签：政治，经济，文化，心理，经典，校园，小说，青春，爱情，科学，社会，自然，游记，理论，导论
给定训练集合 哲学 ：社科 ：自然科学 ：综合 =2:3:3:2
所以这本书属于哲学类的概率为P(H)=0.2
属于社科类的概率为P(S)=0.3
属于自然科学类的概率为P(N)=0.3
属于综合类的概率为P©=0.2

（2）以哲学类为例，给出6本哲学书的标签：

	static int[][] MH=new int[][]{
		//哲学6
		{1,1,1,1,0,0,0,0,0,0,1,0,0,0,0},
		{0,0,1,0,1,0,0,1,0,0,1,0,0,0,0},
		{0,1,1,1,0,0,0,0,0,0,1,0,0,0,0},
		{1,0,1,1,1,0,0,0,0,0,0,0,0,0,0},
		{1,1,1,0,0,0,0,1,1,0,0,0,0,0,0},
		{0,1,1,1,0,0,0,0,0,0,0,1,0,0,0}
	};

（3）在MH中统计所有标签出现的总数total，计算每个标签比如“政治”出现的次数 P（政治|MH）=3/26。用这种方法求出每个标签出现在训练集中的概率得出一个数组PMtags｛3/26,4/26…,1/26…｝,再用P(H)（哲学书在总样本中出现的概率）乘上每一项

（4）设我们要判断那本书的tags为P(B)，根据3的方法求出其他分类的图书在样本中的概率，可以记为P(BH),P(BS),P(BN),P(BC)那么这本书P(B)是哲学书的概率就可以写成
P(H|B)=P(BH)/P(B)
其他图书分类的概率也用这种方法求出

（5）最后得出4个概率分别是这本书是哲学类的概率P(H|B)，是社科类的概率P(H|S)，自然类的概率P(H|N)，是综合类的概率P(H|C)。这四个概率中的最大值就是这本图书所属分类。

代码流程图：

注意计算当前图书标签概率是用四个不同类别的dp[]向量来计算：

//计算这本书的标签概率
	public static double newBook(int [] book, double []dp){
		double pt=1.0;
		for(int i=0;i<dp.length;i++){
			if(book[i]>0){
				pt*=dp[i];
			}
		}
		return pt;
	}

完整代码：

package ClassifyBook;

import java.util.*;

public class Classify {
	static double pHil=0.2;//哲学类
	static double pSoc=0.3;//社科类
	static double pNat=0.3;//自然科学类
	static double pCom=0.2;//综合类
	//targe分类：政治，经济，文化，心理，经典，校园，小说，青春，爱情，科学，社会，自然，游记，理论，导论 （15）
	static int[][] MH=new int[][]{
		//哲学6
		{1,1,1,1,0,0,0,0,0,0,1,0,0,0,0},
		{0,0,1,0,1,0,0,1,0,0,1,0,0,0,0},
		{0,1,1,1,0,0,0,0,0,0,1,0,0,0,0},
		{1,0,1,1,1,0,0,0,0,0,0,0,0,0,0},
		{1,1,1,0,0,0,0,1,1,0,0,0,0,0,0},
		{0,1,1,1,0,0,0,0,0,0,0,1,0,0,0}
	};
	static int [][]MS=new int[][]{
		//社科9
		{0,1,1,1,1,1,1,1,1,0,1,0,0,0,1},
		{0,0,1,1,1,1,1,0,0,0,1,0,0,0,0},
		{0,0,0,1,0,1,1,1,0,1,0,0,0,0,0},
		{0,1,1,1,0,0,0,0,0,0,1,0,0,1,1},
		{0,0,1,1,0,1,0,1,0,0,1,0,0,0,0},
		{0,0,0,1,1,0,1,0,1,1,0,0,0,1,1},
		{0,0,1,1,0,0,1,1,1,0,1,0,0,1,0},
		{0,0,0,1,0,1,0,1,0,1,1,0,0,0,0},
		{0,0,0,0,0,0,1,1,1,1,0,0,0,0,1}
	};
	static int [][]MN=new int[][]{
		//自然科学9
		{0,0,1,0,0,0,1,0,0,1,1,1,1,1,1},
		{0,0,0,0,1,0,0,0,0,1,0,1,1,1,0},
		{0,0,0,0,1,0,0,0,0,0,0,1,1,0,0},
		{0,1,1,0,0,0,0,0,0,1,1,1,1,0,0},
		{0,0,0,1,0,0,0,0,0,1,0,1,0,1,0},
		{0,1,0,0,1,0,0,0,0,0,0,1,1,0,0},
		{0,0,1,0,0,0,0,0,0,1,0,1,1,0,0},
		{0,0,0,1,0,0,0,0,0,0,1,1,0,1,0},
		{0,0,0,0,0,0,0,0,0,0,1,1,1,1,1}
	};
	static int [][]MC=new int[][]{
		//综合6
		{1,1,1,1,1,1,1,1,1,1,1,1,1,1,1},
		{0,1,0,1,0,0,1,1,0,0,1,0,1,0,0},
		{1,0,0,1,0,1,0,1,0,0,0,1,0,1,0},
		{0,0,0,1,0,1,0,1,0,1,0,0,1,0,1},
		{1,1,0,0,1,0,0,0,1,0,0,1,0,1,0},
		{0,0,1,0,0,1,0,0,0,0,1,0,0,0,0}
	};
	public static void main(String []args){
		//计算各个target总和
		int ch=countM(MH);
		int cs=countM(MS);
		int cn=countM(MN);
		int cc=countM(MC);
		System.out.println("哲学："+ch+"　社科："+cs+" 自然科学:"+cn+" 综合："+cc);
		//计算各个矩阵的标签概率
		double []dph=target(MH,ch);
		double []dps=target(MS,cs);
		double []dpn=target(MN,cn);
		double []dpc=target(MC,cc);
		int []book=new int[15];
		Scanner in=new Scanner(System.in);
		while(true){
			System.out.println("请输入这本书的标签：政治，经济，文化，心理，经典，校园，小说，青春，爱情，科学，社会，自然，游记，理论，导论（0代表没有1代表有,空格隔开）：");
			
			for(int i=0;i<15;i++){
				book[i]=in.nextInt();
			}
			//MyArrayList<BOOK> result=new MyArrayList<BOOK>();
			double r1=newBook(book, dph)*pHil;
			double r2=newBook(book, dps)*pSoc;
			double r3=newBook(book, dpn)*pNat;
			double r4=newBook(book, dpc)*pCom;
			double result=Math.max(Math.max(r1, r2), Math.max(r3, r4));
			if(result==r1)
				System.out.println("这本书属于哲学类");
			else if(result==r2)
				System.out.println("这本书属于社科类");
			else if(result==r3)
				System.out.println("这本书属于自然科学类");
			else if(result==r4)
				System.out.println("这本书属于综合类");
		}
	}
	
	//计算这本书的标签概率
	public static double newBook(int [] book, double []dp){
		double pt=1.0;
		for(int i=0;i<dp.length;i++){
			if(book[i]>0){
				pt*=dp[i];
			}
		}
		return pt;
	}
	/**
	 * 计算每个的标签概率
	 * @param a
	 * @param total
	 * @return
	 */
	public static double[] target(int [][]a,double total){
		double []result=new double[a[0].length];
		for(int i=0;i<a[0].length;i++){
			float count=0;
			for(int j=0;j<a.length;j++)
				count+=a[j][i];
			//计算每一列标签数
			result[i]=count/total;
		}
		return result;
	}
	/**
	 * 计算数组中1出现的次数，标签总数
	 * @param a
	 * @return
	 */
	public static int countM(int [][]a){
		int count=0;
		for(int i=0;i<a.length;i++){
			for(int j=0;j<a[0].length ;j++){
				if(a[i][j]==1)
					count++;
			}
		}
		return count;
	}
}