AI夏令营（第三期）NLP 任务一

第一次提交baseline

第二次有显著提高

• 将CountVectorizer替换为TfidfVectorizer
• 使用停用词

第三次瞎捣鼓

• 尝试SVM和决策树模型（运行速度：决策树＞SVM＞LogisticRegression）
• 划分训练集和验证集查看正确率（自己运行时决策树效果最好，但提交结果见第三次，可能是过拟合了？）
• 尝试调参（看起来没什么大变化）

# 导入pandas用于读取表格数据
import pandas as pd

# 导入BOW（词袋模型），可以选择将CountVectorizer替换为TfidfVectorizer（TF-IDF（词频-逆文档频率）），注意上下文要同时修改，亲测后者效果更佳
from sklearn.feature_extraction.text import TfidfVectorizer

# 导入LogisticRegression回归模型
from sklearn.linear_model import LogisticRegression
#导入SVM模型
from sklearn import svm
# 导入决策树分类器
from sklearn.tree import DecisionTreeClassifier, plot_tree

# 过滤警告消息
from warnings import simplefilter
from sklearn.exceptions import ConvergenceWarning
simplefilter("ignore", category=ConvergenceWarning)

# 划分数据集
from sklearn.model_selection import train_test_split
# 查看训练效果
from sklearn.metrics import classification_report

# 读取停用词
stops =[i.strip() for i in open(r'stop.txt',encoding='utf-8').readlines()]

# 读取数据集
train = pd.read_csv('/home/aistudio/data/data231041/train.csv')
train['title'] = train['title'].fillna('')
train['abstract'] = train['abstract'].fillna('')

test = pd.read_csv('/home/aistudio/data/data231041/testB.csv')
test['title'] = test['title'].fillna('')
test['abstract'] = test['abstract'].fillna('')

# 根据给定比例将数据集划分为训练集与验证集trian_data, eval_data
# train, evals = train_test_split(train, test_size = 0.2)

# 提取文本特征，生成训练集与测试集 
train['text'] = train['title'].fillna('') + ' ' +  train['author'].fillna('') + ' ' + train['abstract'].fillna('')+ ' ' + train['Keywords'].fillna('')
# evals['text'] = evals['title'].fillna('') + ' ' +  evals['author'].fillna('') + ' ' + evals['abstract'].fillna('')+ ' ' + evals['Keywords'].fillna('')
test['text'] = test['title'].fillna('') + ' ' +  test['author'].fillna('') + ' ' + test['abstract'].fillna('')

# 更改为TfidfVectorizer，去除停用词
vector = TfidfVectorizer(stop_words=stops).fit(train['text'])
train_vector = vector.transform(train['text'])
test_vector = vector.transform(test['text'])
# evals_vector = vector.transform(evals['text'])

# 引入模型
# model = LogisticRegression()
# model = svm.SVC()
model = DecisionTreeClassifier()

# 开始训练，这里可以考虑修改默认的batch_size与epoch来取得更好的效果
model.fit(train_vector, train['label'])

# # 预测，查看准确率
# y_pred = model.predict(evals_vector)
# print(classification_report(evals['label'], y_pred))

# # 利用模型对测试集label标签进行预测
test['label'] = model.predict(test_vector)
test['Keywords'] = test['title'].fillna('')
test[['uuid','Keywords','label']].to_csv('submit_task1.csv', index=None)