使用Python删除具有某些特征的几行数据

进行数据整理时所写的脚本,使用CD-HIT去冗余,设置阈值为100%,将有多条的簇留下来。
cd1.txt:

在这里插入图片描述
从上图中找出找出100%的簇,放到cd2.txt中

cd2.txt

在这里插入图片描述

with open('cd1.txt', 'r') as f:
    lines = f.readlines()#按行读取文件
with open('cd2.txt', 'w') as f_w:
    for i in range(len(lines)):
        if(lines[i][0] == '0' and lines[i+1][0]=='1'):#将有100%的簇写入到cd2.txt文件中
            f_w.write(lines[i - 1])
            print(i, "***", lines[i - 1])
            f_w.write(lines[i])
            print(i, "***", lines[i])
            f_w.write(lines[i + 1])
            print(i, "***", lines[i + 1])
            i = i + 2
            while(lines[i][0] != '>'):
                f_w.write(lines[i])
                print(i, "***", lines[i])
                i = i + 1
            continue
        else:
            i = i + 1
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python数据清洗是指使用Python编程语言处理和清理数据集,使其符合分析的要求和标准。下面举一个实例来说明。 假设有一个包含学生考试成绩的数据集,包括学生姓名、学号、科目、成绩等信息,但是该数据集存在一些问题,需要进行清洗。 首先,我们可以使用Python读取数据集,并查看数据的完整性。使用pandas库的read_csv()函数读取数据集,并使用head()函数显示前几行数据,以查看数据的格式和内容。 然后,我们可以检查数据集中的缺失值。使用pandas库的isnull()函数,结合sum()函数来统计每列缺失值的数量,并将其显示出来。如果发现某些数据缺失值过多,可以考虑删除这些缺失值较多的列。 接下来,我们可以检查数据集中是否有重复值。使用pandas库的duplicated()函数来查找并删除重复值。如果发现有重复的数据行,可以使用drop_duplicates()函数来删除这些重复值。 然后,我们可以对异常值进行处理。异常值是指明显偏离其他数据的值,可能是录入错误或者其他原因导致的异常情况。可以使用箱线图或者3σ原则来识别异常值,并将其进行修正或者删除。 最后,我们可以对数据类型进行转换。根据数据集的实际需要,将某些列的数据类型转换为合适的类型。例如,将字符串类型的日期转换为日期类型,将数值型字符串类型转换为浮点型等。 完成以上数据清洗步骤后,我们可以将清洗后的数据保存为新的数据集,以便后续的数据分析使用。 总结起来,Python数据清洗是通过使用Python编程语言和相关库来处理和清洗数据集,使其符合分析要求。清洗的具体步骤包括查看数据完整性、处理缺失值、删除重复值、处理异常值和转换数据类型等。这样清洗后的数据可以更好地用于数据分析和建模。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值