1.使用朴素贝叶斯模型对iris数据集进行花分类尝试使用3种不同类型的朴素贝叶斯:
1)高斯分布型
from sklearn import datasets
iris = datasets.load_iris()
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()#建立模型
pred = gnb.fit(iris.data,iris.target) #拟合模型
y_pred = pred.predict(iris.data) #数据预处理
print(iris.data.shape[0],(iris.target != y_pred).sum())
2)多项式型
from sklearn import datasets
iris = datasets.load_iris()
from sklearn.naive_bayes import MultinomialNB
gnb = MultinomialNB()#建立模型
pred = gnb.fit(iris.data,iris.target) #拟合模型
y_pred = pred.predict(iris.data) #数据预处理
print(iris.data.shape[0],(iris.target != y_pred).sum())
3)伯努利型
from sklearn import datasets
iris = datasets.load_iris()
from sklearn.naive_bayes import BernoulliNB
gnb = BernoulliNB()#建立模型
pred = gnb.fit(iris.data,iris.target) #拟合模型
y_pred = pred.predict(iris.data) #数据预处理
print(iris.data.shape[0],(iris.target != y_pred).sum())
2.使用sklearn.model_selection.cross_val_score(),对模型进行验证。
1)from sklearn.naive_bayes import BernoulliNB
from sklearn.model_selection import cross_val_score
gnb=BernoulliNB()
scores=cross_val_score(gnb,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())
2)from sklearn.naive_bayes import MultinomialNB
gnb=MultinomialNB()
scores=cross_val_score(gnb,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())
3)from sklearn.naive_bayes import GaussianNB
gnb=GaussianNB()
scores=cross_val_score(gnb,iris.data,iris.target,cv=10)
print("Accuracy:%.3f"%scores.mean())
3.
3. 垃圾邮件分类
数据准备:
- 用csv读取邮件数据,分解出邮件类别及邮件内容。
- 对邮件内容进行预处理:去掉长度小于3的词,去掉没有语义的词等
尝试使用nltk库:
pip install nltk
import nltk
nltk.download
不成功:就使用词频统计的处理方法
import csv
file_path=r'I:\杜老师\SMSSpamCollectionjs.txt'
sms=open(file_path,'r',encoding='utf-8') #将打开的数据放在sms
sms_data=[]
sms_label=[] #此将会作为分类结果传到模型里边
csv_reader=csv.reader(sms,delimiter='\t') #用csv.reader读取出来,读取的对象是打开的sms,以'\t'tab键分隔字段,
#因为文本里没有逗号,是以空格分开的
for line in csv_reader: #逐行读取数据,一行是一个邮件
sms_label.append(line[0]) #一行有两个字段,第一个字段是邮件的类别,将邮件的类别放到一个列表里边
sms_data.append(preprocessing(line[1]))
sms.close()
sms_data=str(sms_data)#将列表转化为字符串
sms_data=sms_data.lower()#对大小写进行处理
sms_data=sms_data.split()#变成列表的形式
sms_data1=[]#存放处理后的内容
i=0
for i in sms_data:#去掉长度小于3的单词
if len(i)>4:
sms_data1.append(i)
continue