用python快速列向处理数据(readlines,split,join,with...open应用)

于 2022-01-12 12:32:02 发布
阅读量558 收藏 1
点赞数
文章标签： python 经验分享 matlab 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49565223/article/details/122450645
版权
面对上万行的数据，文章介绍了如何使用Python高效地处理数据，特别是删除冗余行。对比了传统的手动删除和使用其他工具的方法，重点展示了通过Python的readlines、split、join和with...open等函数进行文件操作和数据处理的步骤。
摘要由CSDN通过智能技术生成

本文示例1.txt中,有上万行数据，但我只需要前两项用作后续处理计算，该如何快速删除冗余数据？方法有：

  • 使用传统方法鼠标选中一行一行删除

  • 用word打开,如果数据长度一致的情况下，可以按住alt进行框选删除(还需配合其他快捷键选中后一键跳到文末)

  • 度娘一下有没有小插件能够转为Excel文本

  • 利用手头现有工具如matlab,python,java等进行批量处理

这里选用python进行演示

1.txt(待处理文件)

with open ("1.txt",'r') as f:
    a = f.readlines
最低0.47元/天 解锁文章
insurgen_t
关注
python怎么读取txt数据_对python .txt文件读取及数据处理方法总结
weixin_42312227的博客
02-10 4554
1、处理包含数据的文件最近利用Python读取txt文件时遇到了一个小问题，就是在计算两个np.narray()类型的数组时，出现了以下错误：TypeError: ufunc 'subtract' did not contain a loop with signature matching types dtype('作为一个Python新手，遇到这个问题后花费了挺多时间，在网上找了许多大神们写的例...
python对列的处理
YXYYBZ的博客
11-18 346
python表处理
python readline()方法详解
热门推荐
吉克先生的博客
09-19 4万+
readline() 方法用于从文件读取整行，包括 “\n” 字符。如果指定了一个非负数的参数，则返回指定大小的字节数，包括 “\n” 字符。 语法 readline() 方法语法如下： fileObject.readline(); 参数 size – 从文件中读取的字节数。 返回值 返回从字符串中读取的字节。 实例 以下实例演示了 readline() 方法的使用： 文件 r
Python splitlines()方法
weixin_34150224的博客
10-18 476
描述 Python splitlines() 按照行界符('\r', '\r\n', \n'等)分隔，返回一个包含各行作为元素的列表，默认不包含行界符。 能被识别的行界符： 行界符描述 \n Line Feed   换行 \r Carriage Return 回车 \r\n Carriage Return + Line Feed  回车+换行 ...
re.split方法和open对象函数read readline readlines
安装Numpy+MKL出错Found existing installation: numpy 1.15.4
11-06 129
re.split方法 注：使用前需要引入包（import re） 功能：split能够按照所能匹配的字串将字符串进行切分，返回切分后的字符串列表 形式： re.split(pattern, string[, maxsplit=0, flags=0]) pattern:匹配的字符串 string原文链接：https://blog.csdn.net/qq_31672701/article/details/100711585@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑
python 中的split()和strip()
Richard Wang的专栏
09-27 1万+
这两个函数在读入文本信息，处理字符串时常常用到，具体
python源码-案例框架-自动办公-33 Python分块拆分txt文件中的数据.zip
02-22
本案例的"python源码-案例框架-自动办公-33 Python分块拆分txt文件中的数据.zip"文件提供了一个具体的应用场景，即如何使用Python有效地分块拆分大型TXT文件中的数据。 首先，我们要理解什么是分块处理。在Python中...
Python分块拆分txt文件中的数据.rar
最新发布
06-18
with open(os.path.join(output_folder, f'{index}.txt'), 'a') as split_file: split_file.write(line) with open('large_file.txt', 'rt') as file: chunk_size = 1000 for i in range(0, len(file), chunk_...
Python3将txt指定列合并.rar
06-08
在IT行业中，Python是一种广泛应用的编程语言，尤其在数据处理和文本操作方面表现突出。针对“Python3将txt指定列合并.rar”这个主题，我们可以深入探讨如何使用Python来处理txt文件，尤其是涉及到列的合并操作。 ...
read(),readline,readlines三者之间的异同和split分割字符串
junjian Li
10-26 3544
pos-1.txt 89,111,226,252,263,544,552,553,557,1264,1284,1889,1953,1960,2432,2433,4138,4648,4655,4663,5980,10010,10315,10576,10843,11994,12096,12165,12332,12341,12342,12343,12521,12532,12793,12795,12796...
牛客网面试题输入输出的处理（python语言，包括readline()、strip()、split()的使用）
weixin_42042056的博客
04-24 2315
常见的输入类型： 1、第一行表示将会有多少行数据,下面各个行有单个数据 5 1 5 4 7 9 n = int(input()) li = [] for i in range(n): b = int(input()) li.append(b) n = int(input()) data = [] for i in range(n): b = int(input()) data....
python使用范围_如何使用python根据一列将整个数据集分为4个范围
weixin_39625305的博客
11-24 206
I have a dataset with 7k records [telecom dataset].I want to split that dataset into 4 range based on one particular column ["tenure column"], which contains 1 to 72 number.Need to split the whole dat...
Python列表操作大全（非常全）
weixin_30486037的博客
10-18 4972
Python列表操作大全（非常全！！！） 对于python列表的理解可以和C语言里面的数组进行比较性的记忆与对照，它们比较相似，对于python里面列表的定义可以直接用方括号里加所包含对象的方法，并且python的列表是比较强大的，它包含了很多不同类型的数据：整型数字，浮点型，字符串以及对象等。定义举例如下： List1=[1,2,3,”hello world”,”3.1415926”,[1,...
python 读取txt文件时split()函数的妙用
u011699626的博客
12-10 1万+
不知道大家有没有过需要从txt文件中读取含有多行多列的数据的经历，当我们读入数据时，数据会以string的形式被读入，然而如何进行数据转换就成了大的问题。这里介绍一种最简单的方式和容易产生的错误使用方法。 txt测试文件中的数据如下： 我们使用如下代码读取文件，使用readlines()一次性将所有数据全部读取。 with open(r"C:\Users\15025\Desktop\debug1.txt", "r") as f: all_data = f.readlines() print
python中将一串数字分成八列_Python中的Dataframe将列中的值拆分为多个列,python,dataframe,一列,数值,分成...
weixin_39939510的博客
12-18 527
起初的数据是这样的想将page_no这一列拆分成多个列，然后将其中的值都作为列名。想要做成的结果如下图(也就是统计每个id下各个page_no出现的次数)实现的思路是先对page_no这一列进行one-hot编码，将一列变为多列，然后再用cishu列与之相乘，最后进行groupby之后加和，就得到了最终结果。代码如下：df = pd.get_dummies(TestA_beh['page_no']...
python readlines 去除换行符_python实现readline去掉换行符\n
weixin_39569753的博客
12-06 1538
刚刚用python的readline(s)读取文件的发现进行后续处理的时候总是会出现格式上等的一些小错误，后来想起来是因为文件换行符等一些符号(\n\r\t)也会被readline(s)读取到，以下是我用到的小方法举个栗子吧，以下是我的文件内容：In[1]:cat/tmp/ip.txt111.231.0.0/16122.152.0.0/16140.143.0.0/1659.110.0.0/1...
python 处理多行多列多文件的数据
xuexiaofei123456的博客
03-26 1609
python 处理多行多列多文件的数据 #coding=utf-8 import matplotlib.pyplot as plt filename1 = ‘CI-batch02.txt’ filename2 = ‘CI-batch03.txt’ filename3 = ‘CI-batch05.txt’ filename4 = ‘CI-batch-SS.txt’ fileA = open(file...
python中readlines函数用法,python中read() readline()以及readlines()用法
weixin_29809497的博客
03-25 2万+
我们谈到“文本处理”时，我们通常是指处理的内容。Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法： .read()、.readline() 和 .readlines()。每种方法可以接受一个变量以限制每次读取的数据量，但它们通常不使用变量。 .read() 每次读取整个文件，它通常用于将文件内容放到一个字符串变量中。然而 .read() 生成文件内容最直...
用Python将deepfashion数据集的list_attr_img.txt变成CSV文件,不使用pandas
06-12
如果您不想使用pandas库，也可以使用Python将DeepFashion数据集中的list_attr_img.txt文件转换为CSV文件。可以按照以下代码进行操作： ```python # 读取list_attr_img.txt文件 with open('list_attr_img.txt', 'r') as f: lines = f.readlines() # 处理每行数据 data = [] for line in lines[2:]: line = line.strip().split() img_path = line[0] attrs = line[1:] attrs = [int(x) for x in attrs] data.append([img_path] + attrs) # 将数据保存为CSV文件 with open('list_attr_img.csv', 'w') as f: # 写入列名 f.write('image_name,') f.write(','.join(lines[1].strip().split()[1:]) + '\n') # 写入数据 for line in data: line = [str(x) for x in line] f.write(','.join(line) + '\n') ``` 解释： 1. 首先使用open()函数读取list_attr_img.txt文件，将每行数据读取为一个字符串。 2. 对于每行数据，使用strip()函数去除空格和换行符，并使用split()函数将其拆分为图像路径和属性值。 3. 将属性值转换为整数类型。 4. 将图像路径和属性值组成一个列表，并添加到data列表中。 5. 使用open()函数创建CSV文件，并使用write()函数将data列表中的数据写入CSV文件中。在写入CSV文件时，首先使用join()函数将列名转换为一个字符串，然后写入CSV文件；接着，使用join()函数将每行数据转换为一个字符串，并使用逗号分隔每个数据项。 这样，就可以使用Python将DeepFashion数据集中的list_attr_img.txt文件转换为CSV文件了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值