一周总结2022-7-22_csv文件合并去掉表头-CSDN博客

本文链接：https://blog.csdn.net/weixin_63090979/article/details/125841355

合并多个csv文件，并去掉重复的行，也就是去掉表头。

合并多个csv文件，并去掉重复的行，也就是去掉表头。

import numpy as np
import pandas as pd
import glob
import re
 
csv_list = glob.glob('*.csv')
print('all have %sfiles'% len(csv_list))
print('processing ...')
df_list = []
for i in csv_list:
    #读取文件
    df = pd.read_csv(df)
    #将读取的数据追加到列表
    df_list.append(df)
    #合并
    df = pd.concat(df_list)
    #去重
    df.drop_duplicates()
    #写入
    df.to_csv('final_result.csv',index = False,float_format = '%.0f', encoding = 'utf-8')

print('finished')

利用python合并csv文件_流沙没尘居士的博客-CSDN博客_python合并多个csv文件

Python处理(加载、合并)多个csv文件_思考实践的博客-CSDN博客_python合并多个csv文件

glob

def glob(pathname, *, recursive=False):

pathnae: 匹配路径

recursive: 默认False, 如果是true就会递归匹配。当recursive是true时，pathname后面是**。

glob返回的是搜索到的路径的列表

python 的标准库模块glob使用教程，主要为glob.glob()使用与glob.iglob()使用_点亮～黑夜的博客-CSDN博客_glob.iglob

drop_duplicate

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

drop_duplicate方法是对DataFrame格式的数据，去除特定列下面的重复行。返回删除重复行的 DataFrame。

subset : column label or sequence of labels, optional

用来指定特定的列，默认所有列

keep : {‘first’, ‘last’, False}, default ‘first’

删除重复项并保留第一次出现的项

inplace : boolean, default False

是直接在原来数据上修改还是保留一个副本

Pandas之drop_duplicates：去除重复项_纯洁の小黄瓜的博客-CSDN博客_pandas去重复行数据

pandas

import pandas as pd
pd.concat(object,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False)

object: 由series，dataframe或者是panel构成的序列list

axis: 0时按行合并，1时按列合并。

pandas的使用（concat篇）_帅哥大叔的博客-CSDN博客_pandas中concat

read_csv

df = pd.read_csv(filepath_or_buffer, header=0，name=['1','2'])

filepath_or_buffer: 要读取文件的路径。

header: 将指定行的数据作为读取数据各列的列名，默认为0。

name: 重新命名列名。

Python学习——csv文件读取：read_csv（）基本参数应用_「已注销」的博客-CSDN博客_read_csv 参数

to_csv

DataFrame.to_csv(path_or_buf=None, sep=',', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression='infer', quoting=None, quotechar='"', line_terminator=None, chunksize=None, date_format=None, doublequote=True, escapechar=None, decimal='.', errors='strict')

pandas to_csv()写入函数参数详解_潘棋林的博客-CSDN博客_to_csv参数

float_format = '%.0f' #小数点后保留零位。

34_Pandas对CSV文件内容的导出和添加（to_csv）_饺子大人的博客-CSDN博客

index=False #在输出代码时不显示索引，

用python合并两个csv文件的实现方法，以及对表头和空行的处理_职场菜鸟要逆袭的博客-CSDN博客_python合并csv文件并去掉第一行

python pandas dataframe 不显示索引_Python DataFrame 设置输出不显示index(索引)值的方法..._weixin_39719165的博客-CSDN博客

单行注释： #

多行注释： '''内容'''

Python注释（多行注释和单行注释）用法详解_python自由菌的博客-CSDN博客_多行注释

按索引删除元素

del listname[index]

python中list列表删除元素的4种方法_魏大橙的博客-CSDN博客_python列表删除元素

批量缩进

1.shift加v，进入可视化模式。

2.上k下j左h右l方向键，选中需要缩进的行。

3.shift+>缩进，shift+<回退

:10,100>
第10行至第100行缩进
:20,80<
第20行至第80行反缩进

vim如何批量缩进_LareinaL的博客-CSDN博客_vim 批量缩进
 vim批量缩进_Lawrence_121的博客-CSDN博客

将列表元素写入文件

f.writelines(s)
f.write(str(s))
for line in s:
    f.write(line+'\n')
f.write(str.join(s))

5-21 python将列表元素写入文件_withxinxin的博客-CSDN博客_python将列表写入文件

list = file.readlines()  #按行读取文件内容，每一行作为一个元素组成列表。
del list[0]  #删除首行。

Python中文件的open,close,read,write等操作_涤生大数据的博客-CSDN博客_python的open和write

python中list列表删除元素的4种方法_魏大橙的博客-CSDN博客_python列表删除元素

将字典写入文件

dict = {'one':['1','2','3'], 'two':['4','5','6']}
with open('123.csv', 'a') as f:
    for key, value in dict.items():
        f.write(key)
        for string in value:
            f.write(string)

功能代码二：如何把字典数据写入文件中_菜鸟和大白谁厉害的博客-CSDN博客