python
文章平均质量分 88
laterxie
喜欢旅行,打羽毛球,打乒乓球,看足球,动漫.对大数据,分布式,消息中间件,高并发感兴趣
展开
-
Python迁移MySQL数据到MongoDB和Elasticsearch
在工作中经常遇到一些需要批量导入数据到NoSql中。比如我们上线一个新的功能,需要把mysql的一些数据批量导入到Elaticsearch或者mongodb中。这里使用Python代码简洁,方便高效。根据需求变更参数,sql执行以下脚本即可。import pymysql, jsonimport pymongofrom elasticsearch import Elasticsearch,...原创 2020-04-09 00:55:07 · 1895 阅读 · 0 评论 -
使用Redis实现分布式可重入锁
在分布式应用中经常需要用到分布式锁。redis使用set命令来实现分布式锁SET key value [EX seconds] [PX milliseconds] [NX|XX]直接使用该命令构建的redis分布式锁是不像jdk的reentrantlock具有可重入性的,使用线程的ThreadLocal变量存储当前持有锁的计数,可以实现redis分布式锁的可重入性。另外Redis分布式锁有...原创 2020-03-26 23:21:17 · 1551 阅读 · 0 评论 -
使用Redis HyperLogLog统计UV浏览用户数
在开发中,经常遇到要统计某个页面的访问用户数UV。我们很容易想到使用Redis Set来统计,当用户数不多的时候确实可以,本人开发的项目中药统计一个月面一个月用户的访问数量,月活跃用户数量在千万级别以上,如果用Set即使使用Hash打散存储key也需要700-800MB的redis内存,这明显很浪费.这种场景中使用HyperLogLog进行去重统计是非常合适的.HyperLogLog算法是一种非...原创 2020-03-24 22:49:47 · 1877 阅读 · 0 评论