- 博客(1)
- 收藏
- 关注
RSS订阅原创 Pandas100秒处理一亿行数据
Python数据处理心得－－Pandas100秒处理一亿行数据1. 背景－为啥要用pandas公司的日常运营数据通过大数据平台（HIVE SQL）通过汇总后，推送给业务部门进行日常分析的数据仍然非常大。从数据量从PB&TB级降到了GB级，一般主要通过Mysql进行存储&聚合分析。日或周的数据，mysql处理还是可以的。到月数据，超过10GB（1亿行），处理起来就开始吃力，数据吞
2017-12-11 09:21:15
17042
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人