AIGC自动行为采集的文本分类任务——结和上下文情景自动编码（含数据清洗以及提示词和代码）——批量处理

数据清洗

遍历python脚本所在目录所有excel文件读取所有文件的‘’标注‘’列，遍历读取这一列每行数据，删除所有数据中不包含：1学生回答问题
2出声思考
3学生举手/提问/建议
4学生获得成就时刻
5学生与家长互动
6家长辅导学生
7家长鼓励学生
8家长批评/惩罚学生
这八条中的数据，如果遇到学生回答问题R1，或者学生回答问题R2 学生回答问题R3，统一替换为学生回答问题。

import os
import pandas as pd

# 定义需要检查的关键词列表
keywords = [
    "学生回答问题",
    "出声思考",
    "学生举手/提问/建议",
    "学生获得成就时刻",
    "学生与家长互动",
    "家长辅导学生",
    "家长鼓励学生",
    "家长批评/惩罚学生"
]

# 处理'标注'列中的数据
def process_annotation(annotation):
    if not isinstance(annotation, str):
        return None
    
    annotation = annotation.replace("学生回答问题R1", "学生回答问题")
    annotation = annotation.re