python
猫的歪
关注大数据,热爱推荐
展开
-
使用python统计Mongodb
工作中常常存在对端到端流程的过程梳理或者优化,使用mongodb作为存储的时候,需要梳理出各个集合的大小以及TTL(TTL能不用就不用),以下是快速的统计方案,能够帮助将统计结果输出到csv表格中。需要pymongo和pandas依赖库。收集的信息包括数据库统计信息,集合统计信息[文档数,平均大小,集合大小,存储大小,索引],甚至可以在此基础上进行扩展。#! /usr/bin/env pytho...原创 2019-01-23 15:29:23 · 1780 阅读 · 0 评论 -
pyspark与Mongodb
MongoDBMongoDB的基本操作pyspark MongoDB 使用经验1. 时区问题MongoDB的日期格式是 ISO-8601格式的,是一种军事时区后缀(比如UTC的‘Z’后缀),示例如下:ISODate(“2018-08-23T10:05:09.000Z”),主要原因是官方MongoDB.driver存储时间按照UTC 0时区存储,值得注意的一个是MongoDB存储的时间会比北...原创 2019-01-23 15:37:16 · 615 阅读 · 0 评论 -
python& ElasticSearch 分页
主要是使用游标的方法,当前使用的ElasticSearch服务版本是5.6.14,python=3.7,elasticsearch(python库)=5.5.0。下面是可执行的分页代码。#! /usr/bin/env python# -*- coding: utf-8 -*-"""@author:pengxingxiong@ruijie.com.cn@time: 2019/4/28 16...原创 2019-04-29 14:13:46 · 1379 阅读 · 0 评论