爬取京东的商品评论数据
这是京东的数据集,爬取代码我就不放啦,有需要的话后台私信我
使用jupyter进行可视化分析
先导入需要用到的库
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report
import xgboost as xgb
读取数据集,查看数据集信息
data = pd.read_excel('jd_comment_data.xlsx')
data
数据显示结果如下:
检查数据集中各列数据类型
print(data.info())
处理缺失值,将缺失值填充为空字符串
data.fillna({'tags': '', 'content': '', 'author_name': '', 'author_level': ''}, inplace=True)
# 将发布时间转换为datetime类型和提取时间年份
data['year'] = data['评价时间(publish_time)'].dt.year
data['month'] = data['评价时间(publish_time)'].dt.month
绘制评分分布的饼图
准备建模数据和选取特征值
features = data[['商品ID(product_id)', 'year', 'month', '评分(总分5分)(score)'] + [col for col in data.columns if 'author_level_' in col]]
target = data['评分(总分5分)(score)'] >= 4
划分训练集和测试集,把数据集的20%划分为测试集
X_train, X_test, y_train, y_test = train_test_split(features, target, test_size=0.2, random_state=42)
介绍一下这个模型,XGBoost全称为eXtreme Gradient Boosting,即极致梯度提升树。XGBoost是Boosting算法的其中一种,Boosting算法的思想是将许多弱分类器集成在一起,形成一个强分类器(个体学习器间存在强依赖关系,必须串行生成的序列化方法)。
model = xgb.XGBClassifier(use_label_encoder=False, eval_metric='logloss')
model.fit(X_train, y_train)
最后对评分进行预测
# 进行预测
y_pred = model.predict(X_test)
# 评估模型
accuracy = accuracy_score(y_test, y_pred)
report = classification_report(y_test, y_pred)
print(f'准确率: {accuracy}')
print('分类报告:')
print(report)
最后,可能是由于模型的训练太少了,导致最后结果都是1.0,显得这个模型训练的没有那么准确