爬取京东商品的数据可视化分析和使用XGBoost模型对其进行预测

爬取京东的商品评论数据

这是京东的数据集，爬取代码我就不放啦，有需要的话后台私信我

使用jupyter进行可视化分析

先导入需要用到的库

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report
import xgboost as xgb

读取数据集，查看数据集信息

data = pd.read_excel('jd_comment_data.xlsx')
data

数据显示结果如下：

检查数据集中各列数据类型

print(data.info())

 处理缺失值，将缺失值填充为空字符串

data.fillna({'tags': '', 'content': '', 'author_name': '', 'author_level': ''}, inplace=True)

# 将发布时间转换为datetime类型和提取时间年份

data['year'] = data['评价时间(publish_time)'].dt.year
data['month'] = data['评价时间(publish_time)'].dt.month

绘制评分分布的饼图

准备建模数据和选取特征值

features = data[['商品ID(product_id)', 'year', 'month', '评分（总分5分）(score)'] + [col for col in data.columns if 'author_level_' in col]]
target = data['评分（总分5分）(score)'] >= 4 

划分训练集和测试集，把数据集的20%划分为测试集

X_train, X_test, y_train, y_test = train_test_split(features, target, test_size=0.2, random_state=42)

介绍一下这个模型，XGBoost全称为eXtreme Gradient Boosting，即极致梯度提升树。XGBoost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器（个体学习器间存在强依赖关系，必须串行生成的序列化方法）。

model = xgb.XGBClassifier(use_label_encoder=False, eval_metric='logloss')
model.fit(X_train, y_train)

最后对评分进行预测

# 进行预测
y_pred = model.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
report = classification_report(y_test, y_pred)

print(f'准确率: {accuracy}')
print('分类报告:')
print(report)

最后，可能是由于模型的训练太少了，导致最后结果都是1.0，显得这个模型训练的没有那么准确