将多个txt合并成单个txt文档，并筛选指定列中特定字符所在的行

本内容承接上篇文章

任务：将多年的气象站点数据（上百个txt文档）合并，并筛选指定站点的气象数据。

 

在处理数据的过程中我意识到，将多个txt写入到同一excel的不同sheet后仍然需要逐个进行筛选合并，并不会节省太多时间，所以换了一种方法---将多个txt文档合并成单个txt文档（也可以写入到一个csv文件，但是我操作之后出来的结果csv文档里总是少很多行数据，不知道为什么，如果有大佬懂的话欢迎指点迷津orz）之后再根据指定列的特定编号筛选其所在行~

# 读取放在同个文件夹的所有txt文件并保存为dataframe格式和csv格式
import os
import pandas
import codecs
import glob
import numpy
import pandas as pd
import numpy as np

os.getcwd()
os.chdir('E:\WIN')


def txtcombine():
    files = glob.glob('*.txt')
    all = codecs.open('all.txt', 'a')
    for filename in files:
        print(filename)
        fopen = codecs.open(filename, 'r', encoding='utf-8')
        lines = []
        lines = fopen.readline