2021-4月Python 机器学习——中文新闻文本标题分类(简单容易版)

2021-4月Python 机器学习——中文新闻文本标题分类(简单容易版)

试题说明
任务描述
基于THUCNews数据集的文本分类， THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档，参赛者需要根据新闻标题的内容用算法来判断该新闻属于哪一类别

数据说明
THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。

已将训练集按照“标签ID+\t+标签+\t+原文标题”的格式抽取出来，可以直接根据新闻标题进行文本分类任务，希望答题者能够给出自己的解决方案。

训练集格式 标签ID+\t+标签+\t+原文标题 测试集格式 原文标题

提交答案
考试提交，需要提交模型代码项目版本和结果文件。结果文件为TXT文件格式，命名为result.txt，文件内的字段需要按照指定格式写入。

1.每个类别的行数和测试集原始数据行数应一一对应，不可乱序
2.输出结果应检查是否为83599行数据，否则成绩无效
3.输出结果文件命名为result.txt，一行一个类别，样例如下：

···

游戏

财经

时政

股票

家居

科技

社会

房产

教育

星座

科技

股票

游戏

财经

时政

股票

家居

科技

社会

房产

教育

···

一共七个数据集

dict.txt //代表各个ID数字段对应的数字
shuffle_Train_IDs_ //74万篇新闻文档
Test.txt //测试集的标题
Test_IDs.txt //测试集对应的代码
Train.txt //训练集对应的标签ID+\t+标签+\t+原文标题
Train_IDs.txt //训练集对应的代码
Val_IDs.txt //验证集

代码简单好理解适合初学者，主要简单在使用了直接分词的方式，而不是采用构造数据字典的方式

from sklearn.feature_extraction.text import TfidfVectorizer #在文本分类之中，首先分词，然后将分词之后的文本进行tfidf计算，并向量化（这一部分是核心），最后利用传统机器学习算法进行分类就可以了。
from sklearn.naive_bayes import  MultinomialNB#引入朴素贝叶斯
import jieba#jieba库是一款优秀的 Python 第三方中文分词库
import os
import pandas as pd
"""
jieba 支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点。

精确模式：试图将语句最精确的切分，不存在冗余数据，适合做文本分析

全模式：将语句中所有可能是词的词语都切分出来，速度很快，但是存在冗余数据

搜索引擎模式：在精确模式的基础上，对长词再次进行切分

"""


dictt=pd.read_table('data/data12701/dict.txt')
Test=pd.read_table('data/data12701/Test.txt')
Test_IDs=pd.read_table('data/data12701/Test_IDs.txt')
Val_IDs=pd.read_table('data/data12701/Val_IDs.txt')
Train=pd.read_table('data/data12701/Train.txt')
Train_IDs=pd.read_table('data/data12701/Train_IDs.txt')

def fenlei():
    # 获取新闻标题数据训练集
    news = pd.read_table('data/data12701/Train.txt',header=None)#默认会自动推断数据文件头,如果设置为None则无文件头,为1则第一行是文件头
    news = news.drop(1,axis=1) # 去掉中文类别 axis=1指按列
    #print(news)
    text = news[2].tolist()#将数组或者矩阵转换成列表

    # 对新闻标题列表里面的标题进行分词
    t = []
    for i in text:#注意python的for循环用法
        n= jieba.lcut(str(i))	#精确模式分词，适合做文本分析，装换成string形式
        t.append(' '.join(n)) # 将每个标题的分词结果用空格连接起来
    news[2] = t

    #获取测试集
    test = pd.read_table("data/data12701/Test.txt",header=None)
    text = test[0].tolist()
    t1 = []
    for i in text:
        n = jieba.lcut(str(i))
        t1.append(' '.join(n))  # 将每个标题的分词结果用空格连接起来
    x_test = t1
    label = ["财经","彩票","房产","股票","家具","教育","科技","社会","时尚","时政","体育","星座","游戏","娱乐"]

    # 进行数据分割
    # x_train,x_test,y_train,y_test = train_test_split(news[2], news[0], test_size=0.2)
    x_train = news[2]
    y_train = news[0]

    # 对数据集进行特征抽取
    tf = TfidfVectorizer()#TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算，主题模型(如LSI)，文本搜索排序等一系列应用奠定基础。

    # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d',]
    x_train = tf.fit_transform(x_train)
    """
	sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用				  	各种API方法，transform只是其中一个API方法，所以当你调用transform之外的方法，也必须要先fit。
	fit_transform(): joins the fit() and transform() method for transformation of dataset.
 	解释：fit_transform是fit和transform的组合，既包括了训练又包含了转换。
	transform()和fit_transform()二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放		(映射)到某个固定区间，归一化，正则化等）
	fit_transform(trainData)对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等	（根据具体转换的目的），然后对该trainData进行转换transform，从而实现数据的标准化、归一化等等。
	"""

    # print(tf.get_feature_names())

    x_test = tf.transform(x_test)

    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=0.02)
    # print(x_train)
'''class sklearn.naive_bayes.MultinomialNB (alpha=1.0,fit_prior=True, class_prior=None)
其中：
alpha : 浮点数, 可不填 (默认为1.0)
拉普拉斯或利德斯通平滑的参数λ \lambdaλ，如果设置为0则表示完全没有平滑选项。但是需要注意的是，平滑相当于人为给概率加上一些噪音，因此λ \lambdaλ设置得越大，多项式朴素贝叶斯的精确性会越低（虽然影响不是非常大）。
fit_prior : 布尔值, 可不填 (默认为True)
是否学习先验概率P(Y=c)。如果设置为false，则所有的样本类别输出都有相同的类别先验概率。即认为每个标签类出现的概率是1 n _ c l a s s e s \frac1{n\_classes} 
n_classes
1
​	
 。
class_prior：形似数组的结构，结构为(n_classes, )，可不填（默认为None）
类的先验概率P(Y=c)。如果没有给出具体的先验概率则自动根据数据来进行计算。
布尔参数fit_prior表示是否要考虑先验概率，如果是False，则所有的样本类别输出都有相同的类别先验概率。否则，可以用第三个参数class_prior输入先验概率，或者不输入第三个参数class_prior让
MultinomialNB自己从训练集样本来计算先验概率，此时的先验概率为P(Y=Ck)=mk/m。其中m为训练集样本总数量，mk为输出为第k个类别的训练集样本数。
 '''  #设置训练集
    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)

    with open(os.path.join('result.txt'), 'w', encoding='utf-8') as f_train:
        f_train.seek(0)
        f_train.truncate()
    result=open('result.txt',mode='w')
    for i in y_predict:
        result.write(label[i]+"\n")
    result.close()
    return None

if __name__ =="__main__":
    fenlei()