#主要针对问题:在微博爬取大量数据时,数据会出现重复项,标记重复项为黄色;第二层,依据重复项中评论数,保留评论数最多的一条为绿色,删除其余多余项。
import pandas as pd
from openpyxl import load_workbook
from openpyxl.styles import PatternFill
def mark_duplicate_and_max_comments(file_path):
try:
# 使用 openpyxl 直接读取 Excel 文件
wb = load_workbook(file_path)
sheet = wb.active # 如果有多个工作表,请根据实际情况修改工作表
# 读取数据并判断 '微博正文内容' 列是否重复
data = pd.read_excel(file_path)
duplicated_rows = data[data.duplicated(subset=['微博正文内容'], keep=False)]
# 设置样式
yellow_fill = PatternFill(start_color='FFFF00', end_color='FFFF00', fill_type='solid')
green_fill = PatternFill(start_color='00FF00', end_color='00FF00', fill_type='solid')
# 遍历重复的行,设置黄色填充
for _, row in duplicated_rows.iterrows():
for col_num, cell_value in enumerate(row):
cell = sheet.cell(row=row.name + 2, column=col_num + 1) # +2 是因为 Excel 从1开始计数
cell.fill = yellow_fill
# 遍历标黄的重复行,找到评论数最大的一行,将填充颜色改为绿色
for _, group in duplicated_rows.groupby('微博正文内容'):
max_comments_row = group.loc[group['评论数'].idxmax()]
for col_num, cell_value in enumerate(max_comments_row):
if isinstance(cell_value, (int, float)):
cell_value = str(cell_value) # 将数值转换为字符串
cell = sheet.cell(row=max_comments_row.name + 2, column=col_num + 1) # +2 是因为 Excel 从1开始计数
cell.fill = green_fill
# 保存修改后的 Excel 文件
wb.save(file_path)
print(f"文件 {file_path} 处理成功。")
except PermissionError as e:
print(f"PermissionError: {e}. 请确保文件未在其他应用程序中打开,并且你有必要的写入权限。")
# 使用示例
excel_file_path = r"excel绝对路径"
mark_duplicate_and_max_comments(excel_file_path)