![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据分析
张凌飞
这个作者很懒,什么都没留下…
展开
-
利用谷歌云DATAFLOW产品把BUCKET中的JSON文件转化为CSV
在这篇文章中我们把一个JSON文件要转化为CSV文件,使用工具是GCP DATAFLOW和PYTHON。首先我们需要创建一个服务账户SERVICE ACCOUNT,这个服务账号代表程序运行我们起名叫做“DATAFLOW WORKER“角色,还需要输出成一个JSON文件备用。The JSON file from the created Service Account is import to operate from local terminal rather than cloud Shell. S.翻译 2020-06-11 09:00:15 · 420 阅读 · 0 评论 -
如何利用python来执行Athena批处理任务?
#!/usr/bin/env python3import boto3#Function for executing athena queriesdef run_query(query, database, s3_output):client = boto3.client(‘athena’)response = client.start_query_execution(QueryStri...原创 2019-12-10 21:50:44 · 674 阅读 · 0 评论 -
vertica数据库用python客户端(vertica-python)和原生vertica JDBC连接下的速度区别
vertica在使用的时候主要是要在数据库内使用,但是如果假设必须出现需要用python来获得数据的时候的话,就会涉及到数据IO的问题,数据要从数据库移动到python端,如果是处理大数据的话这个成本是非常高的。下面就给个例子说明我的调查结果,只说结论就不上截图了。数据量连接方式数据传输速率(MB/s)1.344 百万数据表DBeaver+vertica官方JDBC4...原创 2019-11-23 19:06:57 · 1276 阅读 · 0 评论