本内容承接上篇文章
任务:将多年的气象站点数据(上百个txt文档)合并,并筛选指定站点的气象数据。
在处理数据的过程中我意识到,将多个txt写入到同一excel的不同sheet后仍然需要逐个进行筛选合并,并不会节省太多时间,所以换了一种方法---将多个txt文档合并成单个txt文档(也可以写入到一个csv文件,但是我操作之后出来的结果csv文档里总是少很多行数据,不知道为什么,如果有大佬懂的话欢迎指点迷津orz)之后再根据指定列的特定编号筛选其所在行~
# 读取放在同个文件夹的所有txt文件并保存为dataframe格式和csv格式
import os
import pandas
import codecs
import glob
import numpy
import pandas as pd
import numpy as np
os.getcwd()
os.chdir('E:\WIN')
def txtcombine():
files = glob.glob('*.txt')
all = codecs.open('all.txt', 'a')
for filename in files:
print(filename)
fopen = codecs.open(filename, 'r', encoding='utf-8')
lines = []
lines = fop