手把手教你实现Python连接数据库并快速取数的工具

在数据生产应用部门，取数分析是一个很常见的需求，实际上业务人员需求时刻变化，最高效的方式是让业务部门自己来取。本文就来手把手教大家搭建一个 Python 连接数据库，快速取数工具，需要的可以参考一下。

 

目录

在数据生产应用部门，取数分析是一个很常见的需求，实际上业务人员需求时刻变化，最高效的方式是让业务部门自己来取，减少不必要的重复劳动，一般情况下，业务部门数据库表结构一般是固定的，根据实际业务将取数需求做成sql 脚本，快速完成数据获取---授人以渔的方式，提供平台或工具

那如何实现一个自助取数查询工具？

基于底层数据来开发不难，无非是将用户输入变量作为筛选条件，将参数映射到 sql 语句，并生成一个 sql 语句然后再去数据库执行

前言

最后再利用 QT 开发一个 GUI 界面，用户界面的点击和筛选条件，信号触发对应按钮与绑定的传参槽函数执行

具体思路：

1.数据库连接类

此处利用 pandas 读写操作 oracle 数据库

2.主函数模块

1）输入参数模块，外部输入条件参数，建立数据库关键字段映射

--注：读取外部 txt 文件，将筛选字段可能需要进行键值对转换

2）sql 语句集合模块，将待执行的业务 sql 语句统一存放到这里

3）数据处理函数工厂

4）使用多线程提取数据

一、数据库连接类

cx_Oracle 是一个 Python 扩展模块，相当于 python 的 Oracle 数据库的驱动，通过使用所有数据库访问模块通用的数据库 API 来实现 Oracle 数据库的查询和更新

Pandas 是基于 NumPy 开发，为了解决数据分析任务的模块，Pandas 引入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的方法类和函数

pandas 调用数据库主要有 read_sql_table，read_sql_query，read_sql 三种方式

本文主要介绍一下 Pandas 中 read_sql_query 方法的使用

1：pd.read_sql_query()

读取自定义数据，返还DataFrame格式，通过SQL查询脚本包括增删改查。

1	pd.read_sql_query(sql, con, index_col=None,coerce_float=True, params=None, parse_dates=None,chunksize=None)

sql：要执行的sql脚本，文本类型

con：数据库连接

index_col:选择返回结果集索引的列,文本/文本列表

coerce_float:非常有用，将数字形式的字符串直接以float型读入

parse_dates:将某一列日期型字符串转换为datetime型数据，与pd.to_datetime函数功能类似。

params:向sql脚本中传入的参数，官方类型有列表，元组和字典。用于传递参数的语法是数据库驱动程序相关的。

chunksize：如果提供了一个整数值，那么就会返回一个generator，每次输出的行数就是提供的值的大小

read_sql_query（）中可以接受SQL语句，DELETE,INSERT INTO、UPDATE操作没有返回值（但是会在数据库中执行），程序会抛出SourceCodeCloseError，并终止程序。SELECT会返回结果。如果想继续运行，可以try捕捉此异常。

2：pd.read_sql_table()

读取数据库中的表，返还DataFrame格式（通过表名）

1 2	import pandas as pd pd.read_sql_table(table_name, con, schema=None,index_col=None, coerce_float=True, parse_dates=None, columns=None,chunksize=None)

3:pd.read_sql()

读数据库通过SQL脚本或者表名

1 2