mongodb
猫的歪
关注大数据,热爱推荐
展开
-
使用python统计Mongodb
工作中常常存在对端到端流程的过程梳理或者优化,使用mongodb作为存储的时候,需要梳理出各个集合的大小以及TTL(TTL能不用就不用),以下是快速的统计方案,能够帮助将统计结果输出到csv表格中。需要pymongo和pandas依赖库。收集的信息包括数据库统计信息,集合统计信息[文档数,平均大小,集合大小,存储大小,索引],甚至可以在此基础上进行扩展。#! /usr/bin/env pytho...原创 2019-01-23 15:29:23 · 1780 阅读 · 0 评论 -
pyspark与Mongodb
MongoDBMongoDB的基本操作pyspark MongoDB 使用经验1. 时区问题MongoDB的日期格式是 ISO-8601格式的,是一种军事时区后缀(比如UTC的‘Z’后缀),示例如下:ISODate(“2018-08-23T10:05:09.000Z”),主要原因是官方MongoDB.driver存储时间按照UTC 0时区存储,值得注意的一个是MongoDB存储的时间会比北...原创 2019-01-23 15:37:16 · 615 阅读 · 0 评论 -
从Spark-Streaming谈数据库性能改进
当前业务场景中Mongodb的IOPS经过压测后的最大峰值为20000/s,在系统上线后,通过mongostat工具监控发现操作数经常会飙升至30000+。由于主要的操作是Spark流处理业务的insert操作,因此本文主要从Spark-Streaming方面来讨论优化Mongodb的性能。spark-streaming 限速背景业务的主要流程是flower->kafka->sp...原创 2019-01-23 16:37:34 · 252 阅读 · 0 评论