当前我的场景是数据中存在大量样本,内容差异仅在于换行符,导致去重的时候,两者都被保留了下来,非我所愿。
几经测试,对于pandas的dataframe,可以使用下面的方式去除换行符
df = df.replace(’\n’,’’, regex=True)
一般情况下的文本也是可以如此处理
python处理换行符
最新推荐文章于 2023-06-08 02:11:48 发布
当前我的场景是数据中存在大量样本,内容差异仅在于换行符,导致去重的时候,两者都被保留了下来,非我所愿。
几经测试,对于pandas的dataframe,可以使用下面的方式去除换行符
df = df.replace(’\n’,’’, regex=True)
一般情况下的文本也是可以如此处理