数据预处理——标记社交媒体（如微博）爬取数据的重复项

#主要针对问题：在微博爬取大量数据时，数据会出现重复项，标记重复项为黄色；第二层，依据重复项中评论数，保留评论数最多的一条为绿色，删除其余多余项。

import pandas as pd
from openpyxl import load_workbook
from openpyxl.styles import PatternFill

def mark_duplicate_and_max_comments(file_path):
try:
# 使用 openpyxl 直接读取 Excel 文件
wb = load_workbook(file_path)
sheet = wb.active # 如果有多个工作表，请根据实际情况修改工作表

# 读取数据并判断 '微博正文内容' 列是否重复
data = pd.read_excel(file_path)
duplicated_rows = data[data.duplicated(subset=['微博正文内容'], keep=False)]

# 设置样式
yellow_fill = PatternFill(start_color='FFFF00', end_color='FFFF00', fill_type='solid')
green_fill = PatternFill(start_color='00FF00', end_color='00FF00', fill_type='solid')

# 遍历重复的行，设置黄色填充
for _, row in duplicated_rows.iterrows():
for col_num, cell_value in enumerate(row):
cell = sheet.cell(row=row.name + 2, column=col_num + 1) # +2 是因为 Excel 从1开始计数
cell.fill = yellow_fill

# 遍历标黄的重复行，找到评论数最大的一行，将填充颜色改为绿色
for _, group in duplicated_rows.groupby('微博正文内容'):
max_comments_row = group.loc[group['评论数'].idxmax()]
for col_num, cell_value in enumerate(max_comments_row):
if isinstance(cell_value, (int, float)):
cell_value = str(cell_value) # 将数值转换为字符串
cell = sheet.cell(row=max_comments_row.name + 2, column=col_num + 1) # +2 是因为 Excel 从1开始计数
cell.fill = green_fill

# 保存修改后的 Excel 文件
wb.save(file_path)

print(f"文件 {file_path} 处理成功。")
except PermissionError as e:
print(f"PermissionError: {e}. 请确保文件未在其他应用程序中打开，并且你有必要的写入权限。")

# 使用示例
excel_file_path = r"excel绝对路径"
mark_duplicate_and_max_comments(excel_file_path)