python基于朴素贝叶斯算法实现新闻分类

最新推荐文章于 2022-10-27 15:14:14 发布

余生欠我一个夏天

最新推荐文章于 2022-10-27 15:14:14 发布

阅读量2.9k

点赞数 6

文章标签：朴素贝叶斯 python NLP

本文链接：https://blog.csdn.net/weixin_42317689/article/details/88809047

版权

本文介绍如何使用Python基于朴素贝叶斯算法实现新闻分类。通过训练函数处理文档特征向量和类标签，计算各类别出现概率及单词频率。接着是测试函数，用于预测测试数据的类别。还包括文本向量化、数据读入处理、停用词移除和特征选取等步骤。

摘要由CSDN通过智能技术生成

#_*_ coding=UTF-8 _*_
import os
import random
from numpy import*
import math

函数声明:朴素贝叶斯新闻分类器训练函数
变量声明:
train_data: 文档特征向量
train_class：文档类的特征集
numtrain: 训练集的总文件数目
numwords: 矩阵每行占据的长度
myclass: 类名称的列表
pn：每一个类中每一个词的数目
ps：该类的单词总数
返回值类型：
pi = [] 类别i的出现概率
pw=[] 类别下各个特征词的频率

 def trainNB(train_data, train_class):
  numtrain = len(train_data)                                              #总文件数
  numwords = len(train_data[0])                                           #总单词数
  
  p1=p2=p3=p4=p5=p6=p7=p8=p9=ones(numwords)                               #分子数＋1，拉普拉斯平滑处理
  sum1=sum2=sum3=sum4=sum5=sum6=sum7=sum8=sum9=9.0                        #分母数加9，拉普拉斯平滑处理
  num1=num2=num3=num4=num5 =num6=num7=num8=num9=0                         #各类文档数目初始为0
  pn=array([p1,p2,p3,p4,p5,p6,p7,p8,p9])
  ps=array([sum1,sum2,sum3,sum4,sum5,sum6,sum7,sum8,sum9])
  classnum=array([num1,num2,num3,num4,num5,num6,num7,num8,num9])
  myclass=["财经","房产","健康","教育","军事","科技","体育","娱乐","证券"]
  for i in range(numtrain):                                #遍历每篇训练文档
   for j in range(9):                                   #遍历每个类别
    if train_class[i] == myclass[j]:                 #如果在类别下的文档
     pn[j]+=train_data[i]                         #统计该类每一个词的数目
     ps[j] += sum(train_data[i])                  #计算该类下的单词数目，用于计算特征集中每一个词在yi中的概率
     classnum[j] +=1                              #该类文档数目加1
     break
  pw,pi = [],[]
  for i in range(9): 
   pw.append(pn[i]/ps[i])