从txt文档里筛选出每行重复数据字符,并保存到新的txt文档

从txt文档里筛选出每行重复数据字符,并保存到新的txt文档

在这里插入图片描述


input_file = r'D:\pythonXangmu\quchong\input_file2.txt' #原始文档
#output_file = 'output.txt'#重复内容记录文档
output_file = r'D:\pythonXangmu\quchong\output2.txt'#绝对路径,解决报错找不到文件或文件夹
with open(input_file, 'r', encoding='utf-8') as file:
    content = file.readlines()
print('content',content)
unique_lines = set()#存储唯一的行数据,是集合
duplicate_lines = []#存储重复的行,是列表
#筛选出每行重复的(多行中找)
for line in content:
    if line in unique_lines:
        duplicate_lines.append(line)
    else:
        unique_lines.add(line)
 #筛选出行内 重复的数据 (单行中找重复)    
result = []
for line in unique_lines:
    current_char = None#表示当前的字符为空
    count = 0#记录连续重复字符的数量
    consecutive_duplicates = ""#用于存储连续重复的字符
    for char in line:
        if char == current_char:
            count += 1
            consecutive_duplicates += char
        else:
            if count > 1:
                result.append(line)  # 将整行添加到result列表中
            current_char = char#将current_char更新为当前字符char,以便继续跟踪下一个字符
            count = 1#将count重置为1,表示当前字符是一个新的字符序列的开始
            consecutive_duplicates = char
print('unique_lines',unique_lines)
print("筛选出含重复字符",result)

with open(output_file, 'w', encoding='utf-8') as file:
    for line in result:
        file.write(line)#写入新文档
    # for line2 in   result:
    #     line2 =line2
       # print('line2',line2)
#print('unique_lines',unique_lines)
#print('duplicate_lines',duplicate_lines)

筛选后的txt文档
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值