python执行sql保存结果_Python/Pandas执行SQL并存储结果

本文介绍如何在Python中执行SQL查询,特别是针对大型数据表,生成子查询来获取特定分析结果。作者面临的问题是,由于数据量大,直接从数据库加载到Pandas不合适。他们编写了一个SQL查询来生成多个子查询,每个子查询用于计算特定列的唯一值、空值计数、最大值和最小值。然后,作者尝试使用`pd.read_sql`将这些子查询的结果读取到DataFrame中,但遇到了错误。他们寻求解决方案来有效地存储和展示这些分析结果。
摘要由CSDN通过智能技术生成

我想对一些Teradata数据库表进行一些数据分析,并很快意识到表的大小(数百万条记录)直接从DB表到Pandas dataframe并不是最佳选择。在

我提出了一个SQL查询,when run将给我一个子集的查询需要执行,以获得我要寻找的结果(distinct,max,min,null count等等),我想把它嵌入到Python脚本中。在

查询如下所示:SELECT 'SELECT ''' || TRIM(COLUMNNAME)

|| ''', COUNT(DISTINCT ' || COLUMNNAME || ') AS DISTINCT_COUNT,'

|| ' COUNT(1) - COUNT( ' || COLUMNNAME || ') AS NULL_COUNT,'

|| ' MAX( ' || COLUMNNAME || ') AS MAX_COL_VALUE,'

|| ' MIN( ' || COLUMNNAME || ') AS MIN_COL_VALUE'

|| ' FROM ' || TRIM(DATABASENAME) || '.' || TRIM(TABLENAME) || ';'

FROM DBC.COLUMNSV

WHERE DATABASENAME = 'XYZ'

AND TABLENAME = 'ABC';

执行该查询的结果是一组单独的查询(对于我当前正在测试的表,大约有30个查询)。在

我用以下方法执行了上述操作。。。。在

^{pr2}$<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值