python 37 pandas操作csv文件小结，csv文件合并

最新推荐文章于 2024-08-14 18:22:26 发布
最新推荐文章于 2024-08-14 18:22:26 发布
阅读量1.3w 收藏 21
点赞数 4
分类专栏： python 文章标签： python csv 合并
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/76099310
版权 
import pandas as pd
df = pd.read_csv("annotations.csv")[0:10]
## 一 DataFrame,数据帧df，可以将其看作表格 ### 列：index，行：columns 
df
seriesuidcoordXcoordYcoordZdiameter_mm
01.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.3875065.651471
11.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…103.783651-211.925149-227.1212504.224708
21.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…69.639017-140.944586876.3744965.786348
31.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…-24.013824192.102405-391.0812768.143262
41.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150
51.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.54471518.208570
61.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.07332216.381276
71.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.34642310.362321
81.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.24725121.089619
91.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.06447910.465854
### 2 取其中某三列 
pd.DataFrame(df,columns = ['seriesuid','coordX','coordY','coordZ'])
seriesuidcoordXcoordYcoordZ
01.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.387506
11.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…103.783651-211.925149-227.121250
21.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…69.639017-140.944586876.374496
31.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…-24.013824192.102405-391.081276
41.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.493732
51.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.544715
61.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.073322
71.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.346423
81.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.247251
91.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.064479
### 3 取其中某俩行 
pd.DataFrame(df,index = [0,4])
seriesuidcoordXcoordYcoordZdiameter_mm
01.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.3875065.651471
41.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150
## 二 对DataFrame操作 ### 1 排序 
df.sort_index(axis=1,ascending=True)
coordXcoordYcoordZdiameter_mmseriesuid
0-128.699421-175.319272-298.3875065.6514711.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…
1103.783651-211.925149-227.1212504.2247081.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…
269.639017-140.944586876.3744965.7863481.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…
3-24.013824192.102405-391.0812768.1432621.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…
42.441547172.464881-405.49373218.5451501.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…
590.931713149.027266-426.54471518.2085701.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…
689.540769196.405159-515.07332216.3812761.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…
781.50964654.957219-150.34642310.3623211.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…
8105.05579219.825260-91.24725121.0896191.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…
9-124.834262127.247155-473.06447910.4658541.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…
### 2 算数运算 
df['corrd_X_Y'] = df['coordX']*df['coordY']
df
seriesuidcoordXcoordYcoordZdiameter_mmcorrd_X_Y
01.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.3875065.65147122563.488788
11.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…103.783651-211.925149-227.1212504.224708-21994.365650
21.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…69.639017-140.944586876.3744965.786348-9815.242447
31.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…-24.013824192.102405-391.0812768.143262-4613.113389
41.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150421.081078
51.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.54471518.20857013551.304585
61.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.07332216.38127617586.268931
71.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.34642310.3623214479.543419
81.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.24725121.0896192082.758414
91.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.06447910.465854-15884.804687
### 3 切片 
df['diameter_mm']>6
0 False 1 False 2 False 3 True 4 True 5 True 6 True 7 True 8 True 9 True Name: diameter_mm, dtype: bool 
df.loc[:,['coordX','coordY']]
coordXcoordY
0-128.699421-175.319272
1103.783651-211.925149
269.639017-140.944586
3-24.013824192.102405
42.441547172.464881
590.931713149.027266
689.540769196.405159
781.50964654.957219
8105.05579219.825260
9-124.834262127.247155
df.iloc[[0,1],2:4]
coordYcoordZ
0-175.319272-298.387506
1-211.925149-227.121250
df[df['diameter_mm']>10]
seriesuidcoordXcoordYcoordZdiameter_mmcorrd_X_Y
41.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150421.081078
51.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.54471518.20857013551.304585
61.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.07332216.38127617586.268931
71.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.34642310.3623214479.543419
81.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.24725121.0896192082.758414
91.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.06447910.465854-15884.804687
### 4 合并 
pd.concat([df,df,df],ignore_index=True)
seriesuidcoordXcoordYcoordZdiameter_mmcorrd_X_Y
01.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.3875065.65147122563.488788
11.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…103.783651-211.925149-227.1212504.224708-21994.365650
21.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…69.639017-140.944586876.3744965.786348-9815.242447
31.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…-24.013824192.102405-391.0812768.143262-4613.113389
41.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150421.081078
51.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.54471518.20857013551.304585
61.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.07332216.38127617586.268931
71.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.34642310.3623214479.543419
81.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.24725121.0896192082.758414
91.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.06447910.465854-15884.804687
101.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.3875065.65147122563.488788
111.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…103.783651-211.925149-227.1212504.224708-21994.365650
121.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…69.639017-140.944586876.3744965.786348-9815.242447
131.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…-24.013824192.102405-391.0812768.143262-4613.113389
141.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150421.081078
151.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.54471518.20857013551.304585
161.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.07332216.38127617586.268931
171.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.34642310.3623214479.543419
181.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.24725121.0896192082.758414
191.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.06447910.465854-15884.804687
201.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.3875065.65147122563.488788
211.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…103.783651-211.925149-227.1212504.224708-21994.365650
221.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…69.639017-140.944586876.3744965.786348-9815.242447
231.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…-24.013824192.102405-391.0812768.143262-4613.113389
241.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150421.081078
251.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.54471518.20857013551.304585
261.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.07332216.38127617586.268931
271.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.34642310.3623214479.543419
281.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.24725121.0896192082.758414
291.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.06447910.465854-15884.804687
pd.merge(df,df,how='outer')
seriesuidcoordXcoordYcoordZdiameter_mmcorrd_X_Y
01.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…-128.699421-175.319272-298.3875065.65147122563.488788
11.3.6.1.4.1.14519.5.2.1.6279.6001.100225287222…103.783651-211.925149-227.1212504.224708-21994.365650
21.3.6.1.4.1.14519.5.2.1.6279.6001.100398138793…69.639017-140.944586876.3744965.786348-9815.242447
31.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…-24.013824192.102405-391.0812768.143262-4613.113389
41.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…2.441547172.464881-405.49373218.545150421.081078
51.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…90.931713149.027266-426.54471518.20857013551.304585
61.3.6.1.4.1.14519.5.2.1.6279.6001.100621383016…89.540769196.405159-515.07332216.38127617586.268931
71.3.6.1.4.1.14519.5.2.1.6279.6001.100953483028…81.50964654.957219-150.34642310.3623214479.543419
81.3.6.1.4.1.14519.5.2.1.6279.6001.102681962408…105.05579219.825260-91.24725121.0896192082.758414
91.3.6.1.4.1.14519.5.2.1.6279.6001.104562737760…-124.834262127.247155-473.06447910.465854-15884.804687

5 合并文件夹下所有同类型的csv的小例子

csv_files = glob.glob('/*/*/*.csv')
df = df = pd.DataFrame(columns=['seriesuid', 'coordX', 'coordY', 'coordZ', 'diameter_mm','des'])   
for csv in csv_files:
    df = pd.merge(df,pd.read_csv(csv),how='outer')
df_to_save = pd.DataFrame(df,columns=['seriesuid', 'coordX', 'coordY', 'coordZ', 'diameter_mm'])      
df_to_save.to_csv('annotations.csv',index=False)
HxShine
关注
专栏目录
Pandas CSV 文件
weixin_59862023的博客
04-27 417
CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。 CSV 是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。 Pandas 可以很方便的处理 CSV 文件，本文以nba.csv为例，你可以下载 nba.csv或打开 nba.csv查看。 实例 importpandasaspd df=pd.read_csv('nba.csv')print(df.to_...
python:pandas合并csv文件的方法(图书数据集成)
12-25
pandas读取csv文件，并进行csv文件合并处理： # -*- coding:utf-8 -*- import csv as csv import numpy as np # ------------- # csv读取表格数据 # ------------- ''' csv_file_object = csv.reader(c
pandas读取并处理csv文件
RJzz
07-17 3681
CSV（来源于百度百科） 逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储你表格数据（数字和文本）。文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。通...
Python Pandas 全面指南：用法介绍及10个应用场景实践
简说Python的博客
08-14 1318
微信改版，求求大家星标下公众号，不然后面推送大家可能会看不到Python Pandas 全面指南：用法介绍及10个应用场景实践大家好，我是老表，今天给大家分享一篇Pandas全面教学指南，希望对大家学习数据分析及自动化办公有帮助。本文已经转为语音，欢迎大家点击下面播放按钮边听边看，效率更高，更专注。Pandas 是 Python 中最常用的数据分析库之一，它提供了高效的数据结构和分析工具，尤其...
Python 利用pandas处理CSV文件（DataFrame的基础用法）
Vincent的博客
07-09 6812
pandas是一个第三方数据分析库，其集成了大量的数据分析工具，可以方便的处理和分析各类数据。
pandas处理csv文件
weixin_43276033的博客
04-11 2258
pandas读取csv文件，CSV是一种以","为分隔符来存储表格数据（数字或文本）的纯文本格式。这是一种简单通用的文件格式。
Pandas 操作CSV
Damien_J_Scott的博客
06-30 624
最近项目需求做ML,我对这个又不是很熟只有一点一点学习,其中包括Data的预处理,会用到操作csv,顺便总结下. Install pandas pip install pandas Use 我使用的demo csv如下 读取csv数据并打印 import pandas as pd path="./cars.csv" with open(path)as file: data=pd.read_csv(file) print(data) describe()方法数据统计 impo.
Python Pandas批量读取csv文件到dataframe的方法
09-20
Pandas通过其简洁的API使得对CSV文件的操作变得异常简单和高效。借助于Pandas，Python用户能够轻松应对大规模的数据处理任务，这对于数据分析和科学计算尤其重要。希望这些知识点能够帮助读者快速掌握使用Pandas批量...
解决Python中pandas读取*.csv文件出现编码问题
09-19
### 解决Python中pandas读取*.csv文件出现编码问题 #### 一、问题背景与现象 在使用Python中的pandas库处理CSV文件时，可能会遇到由文件编码格式不匹配导致的问题。例如，在读取非UTF-8编码的CSV文件时，可能会...
pandas 处理CSV文件
背着行囊去远方的博客
08-29 1504
同目录下会生成一个site.csv文件。
使用 pandas 处理 CSV 文件
热门推荐
We choose to go to the moon in this decade and do the other things, not because they are easy, but beacase they are hard.
05-13 1万+
读取 CSV 文件、写入 CSV 文件
pandas csv文件简单操作
s@dragon的博客
08-26 443
pandas csv文件操作 import pandas as pd # Press the green button in the gutter to run the script. if __name__ == '__main__': data=pd.read_csv('C:\\Users\\dragon\\Desktop\\score.csv',index_col='name') #index_col指定索引,index_col=1表示以第一列当索引 print(data)
python爬虫之pandas操作csv、excel文件
naer_chongya的博客
06-12 2631
我们可以使用read_csv()方法和read_excel()方法来读取CSV和Excel文件，并使用各种pandas的DataFrame方法对数据框进行处理和分析。最后，我们可以使用to_csv()方法和to_excel()方法将数据框保存到CSV和Excel文件中。pandas库中read_csv()函数可以方便地读取CSV文件，并将其转换成DataFrame数据结构，我们可以使用各种方法对其进行处理和分析。同样地，我们可以使用各种pandas的DataFrame方法来对数据框进行处理。
python学习-pandas操作csv文件
caomeng997的博客
04-11 487
在使用Python做数据挖掘和数据分析时，一大必不可少的利器就是Pandas库了。pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的，其纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。 下面就从创建数据、查看数据、筛选数据、统计数据、缺失值处理、数据可视化等13个方面介绍Pandas数据处理的基本操作，希望对广大数据爱好者有所帮助。 1、创...
使用pandas合并多个csv文件
weixin_55787017的博客
04-12 2780
代码如下（示例）： path = 'E:FAERS/demo_csv' path1 = glob.glob(path+r'\*.csv') l = [] for p in path1: csvname = p print(csvname) csvname = pd.read_csv(p,encoding='gbk') l.append(csvname) demomerge = pd.concat(l, axis=0, ignore_index=True, jo
pandas对csv文件的基本操作
rcoon
06-23 894
文章目录读取遍历修改 python自带的csv库也可以对csv文件进行操作，但是操作起来不是很方便，我们试着用pandas库来试试 读取 pandas库里读取csv文件后可以直接返回dataframe对象，不需要我们再转 data = pd.read_csv(file,encoding="utf-8") print(type(data)) #output <class 'pandas.core.frame.DataFrame'> 我们可以看到输出的类型是个dataframe对象 我们也可以加
合并多个csv文件—pandas
weixin_45662832的博客
10-22 1311
import pandas as pd import os import warnings warnings.filterwarnings("ignore") import numpy as np Folder_Path = r'C:\Users\lml\Desktop\first\ReHo' saveFile_Path = r'C:\Users\lml\Desktop\first\ReHo'...
使用pandas进行多个csv文件的合并
qq_41342922的博客
11-03 8047
概率论课程的作业要求编写python程序实现对数据集的特征图形化分析 从阿里云天池里down了一个疫苗流向的数据集 拿到手，打开jupyter notebook 导入 pandas down的数据集有多个csv文件，因此首先把多个csv文件合并为一个 import pandas as pd import os # 将该文件夹下的所有文件名存入列表 csv_name_list = os.listd...
python csv合并
云谁之殇的专栏
09-05 466
def get_data(): filename1 = './data/ant1.csv' #合并文件1 filename2 = './data/ant2.csv' #合并文件2 fileAll = './data/all_ant_data.csv' #合并输出文件 df1 = open(filename1,'r',encoding='utf-8').rea...
python通过pandas向csv文件添加数据
最新发布
09-11
Python通过pandas库向csv文件添加数据，可以分为以下步骤： 1. 首先，需要导入pandas库。如果尚未安装pandas，可以使用pip安装命令：`pip install pandas`。 2. 接下来，使用pandas的`read_csv`函数读取已存在的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值