Python从指定路径读取txt文件按行筛选出所需的字符

需要从txt文档中筛选出某些字段,写了个python小脚本去执行。

import os

##获取当前路径
curpath=os.getcwd()
##列出路径下的所有文件,方便获得txt文档的名称
pathdir=os.listdir(curpath)

txtfilename=''
filename=[]

##获取的名称是带有文件后缀的,使用split直接筛选出.txt的文件
for i in pathdir:
    filename=i.split('.')
    if filename[1] == 'txt':
        txtfilename=i
    break

##因为文档大部分为gbk编码,ignore忽略掉其他编码格式,不然会报错
fr=open(logfilename,'r',encoding='gbk',errors='ignore')

##按行读取
all_lines=fr.readlines()

##按条件需要筛选
dataset=[]
tag=''
finaldata=[]
for line in all_lines:
    dataset=line.split(': ')
    tag=dataset[0]
    splitstag1='te'
    splitstag2='st'
    if tag.find(splitstag1) != -1:
        dataset=tag.split(splitstag1)
        tag=dataset.pop()
    else:
        dataset=tag.split(splitstag2)
        tag=dataset.pop()    
##如果当前行筛选出来的结果之前没有的,使用append新增到列表后
    if tag not in finaldata:
        finaldata.append(tag)

##创建一个筛选结果txt文档,将筛选结果写入
rsfile="ReadResult.txt"
if os.path.exists(rsfile):
    os.remove(rsfile)
file = open(rsfile, "w")
for i in finaldata:
   file.write(i)
   file.write('\n')
file.close()
print("work down!")
  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 要实现Python读取指定目录下的所有Excel文件内容并存储到数据库,首先要安装相关的Python库,如pandas和openpyxl。 步骤如下: 1. 导入所的库: ``` python import os import pandas as pd from openpyxl import load_workbook import sqlite3 ``` 2. 连接数据库: ``` python conn = sqlite3.connect('example.db') cursor = conn.cursor() ``` 3. 获取指定目录下的所有Excel文件: ``` python path = '指定路径' files = os.listdir(path) excel_files = [file for file in files if file.endswith('.xlsx') or file.endswith('.xls')] ``` 4. 读取Excel文件内容并存储到数据库: ``` python for file in excel_files: excel_path = os.path.join(path, file) df = pd.read_excel(excel_path, sheet_name='工作表名称') for index, row in df.iterrows(): # 获取每一行数据并插入数据库 cursor.execute("INSERT INTO 表名 (列名1, 列名2, 列名3, ...) VALUES (?, ?, ?, ...)", tuple(row)) ``` 5. 提交并关闭数据库连接: ``` python conn.commit() cursor.close() conn.close() ``` 要根据实际情况修改相应的代码,如数据库连接和操作的表名、列名等。同时,如果Excel文件有多个工作表,可以根据要修改`sheet_name`参数来读取不同的工作表。 ### 回答2: 要实现这个功能,你可以使用Python中的os库来遍历指定目录下的所有excel文件,再使用pandas库来读取excel文件内容,并将数据存储到数据库中。 首先,你要导入所的库: ```python import os import pandas as pd import sqlite3 ``` 接下来,你要连接数据库。这里以SQLite数据库为例: ```python # 连接到数据库 conn = sqlite3.connect('database.db') cur = conn.cursor() ``` 然后,你可以使用os库的`listdir`函数来获取指定目录下的所有文件名: ```python # 指定目录 directory = '/path/to/directory' # 获取目录下的所有文件名 files = os.listdir(directory) ``` 接下来,你可以使用pandas的`read_excel`函数来读取excel文件,并将数据存储到数据库中: ```python # 遍历所有文件 for file in files: # 读取excel文件 df = pd.read_excel(os.path.join(directory, file)) # 将数据存储到数据库中 df.to_sql('table_name', conn, if_exists='append', index=False) ``` 最后,记得关闭数据库连接: ```python # 关闭数据库连接 conn.close() ``` 这样,你就可以成功将指定目录下的所有excel文件的内容存储到数据库中了。请确保在开始之前已经安装了pandas库和sqlite3库。 ### 回答3: Python可以使用pandas和sqlite3库来实现读取指定目录下的所有excel文件内容并存储到数据库。 首先,我们要安装pandas和sqlite3库。可以使用以下命令在终端中安装它们: ``` pip install pandas pip install sqlite3 ``` 然后,我们可以按照以下步骤来实现读取指定目录下的所有excel文件内容并存储到数据库: 1. 引入必要的库: ```python import pandas as pd import os import sqlite3 ``` 2. 设置数据库连接并创建数据库表: ```python conn = sqlite3.connect('database.db') cursor = conn.cursor() cursor.execute('CREATE TABLE IF NOT EXISTS data (file_name TEXT, content TEXT)') ``` 3. 遍历指定目录下的所有文件筛选出excel文件,并读取文件内容: ```python folder_path = '指定目录的路径' for file_name in os.listdir(folder_path): if file_name.endswith('.xlsx') or file_name.endswith('.xls'): file_path = os.path.join(folder_path, file_name) df = pd.read_excel(file_path) # 使用pandas读取excel文件内容 content = df.to_json() # 将内容转换为JSON字符串 cursor.execute('INSERT INTO data (file_name, content) VALUES (?,?)', (file_name, content)) ``` 4. 提交并关闭数据库连接: ```python conn.commit() conn.close() ``` 通过以上步骤,我们可以实现将指定目录下的所有excel文件内容存储到数据库中。你可以根据要自行调整代码,并且可以将数据库连接改为其他数据库类型,如MySQL或PostgreSQL。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值