python采集mongodb数据写入influxdb展示grafana

#!/usr/bin/env python
#encoding:utf=8


import json
import time
import urllib
import urllib2
import pymongo
import datetime



def post_json(Id,isfinal,exceptionCount):
        default_encoding = 'utf-8'
        if sys.getdefaultencoding() != default_encoding:
                reload(sys)
                sys.setdefaultencoding(default_encoding)
        a = {
                "touser": "",
                "toparty": "2",
                "totag": "",
                "agentid": "1",
                "msgtype": "text",
                "text": {
                        "content":"道具时间链存在异常\n请查看对应的交易记录\nTradeId:%s\nIsFianl:%s\nexceptionCount:%s" %(Id,isfinal,exceptionCount)
                },
            }
        #print a
        resp = requests.post("http://192.168.10.176:9095",json=a)
        print(resp.content.decode("utf8"))


#```connection mongo```
def get_db():
client=pymongo.MongoClient('XX',27017)
db=client.collectproplog
collection=db.ItemEventMonitorRecord
#print collection
return collection


#```get data from mongo```
def get_doc(coll):
startdate = (datetime.datetime.now() - datetime.timedelta(minutes=300))
enddate = datetime.datetime.now()
results = coll.find({"ConsumTime":{"$gte":startdate,"lte":enddate}})
#results = coll.find()
return results




#```insert into influxdb```
def in_db(results):
for res in results:
cTime = long(time.mktime(res["ConsumTime"].timetuple()) * 1000.0 + res["ConsumTime"].microsecond / 1000.0) 
        pTime = res["PostEventTimeSpan"]
        fTime = time.mktime(res["FinalTime"].timetuple())
fTime = long(time.mktime(res["FinalTime"].timetuple()) * 1000.0 + res["FinalTime"].microsecond / 1000.0)
        aTime = res["AsyncEventListTimeSpan"]

        isFinal = res["IsFinal"]

                if exceptionCount > 0:
                        post_json(TradeId,isFinal,exceptionCount)
                if isFinal:
                        isFinal='0'
                else:
                        isFinal='1'
                        post_json(TradeId,isFinal,exceptionCount)

dbreqdata =  "gifteventlog," +"ConsumTime=" + str(cTime) + ",PostTime=" + str(pTime) + ",asynctime=" + str(aTime) + ",finaltime=" +str(fTime) + " isfinal=" + str(isFinal)
        dbrequrl = "http://XXXX:8082/write?db=stream_id_num"
        print(dbreqdata)
        dbreq= urllib2.Request(url = dbrequrl,data =dbreqdata)
        print(dbreq)
        urllib2.urlopen(dbreq)

if __name__ == "__main__":
coll=get_db()
in_db(get_doc(coll))



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值