spark
猫的歪
关注大数据,热爱推荐
展开
-
pyspark与Mongodb
MongoDB MongoDB的基本操作 pyspark MongoDB 使用经验 1. 时区问题 MongoDB的日期格式是 ISO-8601格式的,是一种军事时区后缀(比如UTC的‘Z’后缀),示例如下:ISODate(“2018-08-23T10:05:09.000Z”),主要原因是官方MongoDB.driver存储时间按照UTC 0时区存储,值得注意的一个是MongoDB存储的时间会比北...原创 2019-01-23 15:37:16 · 615 阅读 · 0 评论 -
从Spark-Streaming谈数据库性能改进
当前业务场景中Mongodb的IOPS经过压测后的最大峰值为20000/s,在系统上线后,通过mongostat工具监控发现操作数经常会飙升至30000+。由于主要的操作是Spark流处理业务的insert操作,因此本文主要从Spark-Streaming方面来讨论优化Mongodb的性能。 spark-streaming 限速 背景 业务的主要流程是flower->kafka->sp...原创 2019-01-23 16:37:34 · 252 阅读 · 0 评论