2021-09-25

MultinomialNB 参数详解

alpha	浮点型可选参数，默认为1.0，其实就是添加拉普拉斯平滑，即为上述公式中的λ ，如果这个参数设置为0，就是不添加平滑；
fit_prior	布尔型可选参数，默认为True。布尔参数fit_prior表示是否要考虑先验概率，如果是false，则所有的样本类别输出都有相同的类别先验概率。否则可以自己用第三个参数class_prior输入先验概率，或者不输入第三个参数class_prior，让MultinomialNB自己从训练集样本来计算先验概率。
class_prior	可选参数，默认为None

1.加载数据集

 """加载数据集 共320个样本"""
    text = datasets.load_files("Data/",encoding="utf-8")
    data = text.data  # 数据   320
    target = text.target  # 标签名称 320
    target_names = text.target_names  # 真是标签名称 320
    labels = text.filenames   # 文件名称列表

点击下载数据集

2. 数据预处理，去除数据中的换行符、制表符、数字、停用词等

"""数据预处理"""
    def data_process(self):
        news_list = []
        words = []
        for news in self.data:
            item = self.remove_chars(news)  # 去除特殊字符
            news_list.append(item)
            item = self.splittext(item)  # 划词
            item = self.split_stopwords(item) # 去除停用词
            words.append(item)
        return news_list,words  # 返回处理后的词和新闻内容

    """分词"""
    def splittext(self,text):
        split_text  = jieba.cut(text,cut_all=False)
        split_text = ' '.join(split_text)
        return split_text

    """获取停用词"""
    def get_stopwords(self):
        lists = [] 
        words = open("./stopwords.txt","r", encoding="utf-8")
        for line in words:
            lists.append(line[:len(line)-1])
        return lists

    """去除停用词"""

    def split_stopwords(self,data):
        word_list = []
        for item in data.split(" "):
            if item not in self.get_stopwords():
                word_list.append(item) 
        return word_list


    """清除特殊字符"""
    def remove_chars(self,data):
        rule = re.compile(r"[^\u4e00-\u9fa5]")
        file_content = rule.sub(" ", data)
        file_content = file_content.replace(" ","")
        return file_content

3. 数据特征选择与提取

x_train, x_test, y_train, y_test = train_test_split(news_list,news.target, test_size=0.1)  # 划分数据
    
# 特征选择与提取 提取各种新闻的特征词汇
cv = CountVectorizer()
x_count_train = cv.fit_transform(x_train)

td = TfidfTransformer() # 使用TF-IDF（词频、逆文档频率）应用于稀疏矩阵
train_td = td.fit_transform(x_count_train)  # 传入训练数据

4. 构造分类器

    """训练模型或者构造新闻分类器"""
     #实例化一个贝叶斯分类器
    classifier = MultinomialNB()
    #传入数据进行训练`
    classifier.fit(train_td, y_train)

5. 通过相应的指标评价构造分类器的好坏

# 对文本数据进行标记并转换为稀疏计数矩阵
    x_count_test = cv.transform(x_test)  # 使用测试数据进行预测
     
    # 对文本数据进行标记并转换为稀疏矩阵
    input_tfidf = td.transform(x_count_test)
    
    """预测"""
    #利用测试机数据进行模型测试
    print(classifier.predict(input_tfidf))
    print("与真实值的误差", r2_score(y_test,classifier.predict(input_tfidf)))

# 输出
"""
[4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4]
与真实值的误差 -0.26502500235871307
"""

这里由于样本较少和参数优化的原因导致误差值较大，如需测试请收集更多样本进行实验

6. 网格搜索方式设置分类器最优超参数。

 """网格搜索最优超参数"""
    classfiter = MultinomialNB()  # 分类器
    # 网格参数  这里的参数为分类器支持的参数
    param_grid = [
        {'alpha': [1.0,2.0,3.0,4.0,5.0], 'fit_prior': [False]}
        ]
    # 构造网格搜索分类器
    grid_search = GridSearchCV(classfiter,param_grid)
    grid_search.fit(train_td,y_train)  # 训练模型
    best_params = grid_search.best_params_  # 最优参数
    best_estimator = grid_search.best_estimator_  # 最优模型
    print(best_params)
    print(best_estimator)
"""输出
{'alpha': 1.0, 'fit_prior': False}
MultinomialNB(fit_prior=False)
"""

点击下载源码
喜欢请点个赞