- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 tornado 消费队列并配合 superviosr 优雅重启
当你用tornado 作为一个消费队列的实例，如果tornado 异常了，如何在消费队列中重启tornado实例，并继续下一个消费？
2020-06-20 10:07:58
316
原创 用 scroll 和 bulk 拉取和上传千万级 elastic 索引
最近遇到个需求，索引迁移，本来应该用es的reindex，不过由于业务限制等原因，没法使用，使用了 scroll 和 bulk 完成了迁移，记录代码scroll 拉取到csv文件from elasticsearch import Elasticsearchfrom elasticsearch import helpersimport timeimport json# 188 -> 线上class Get_es: def __init__(self): self
2020-06-13 16:38:41
660
1
原创 nginx 反向代理的缓存问题
http { proxy_cache_path /data/nginx_cache/ levels=1:2 keys_zone=my_zone:10m inactive=60s max_size=5g;#访问时间，过期就会删除}#es判例的location ~ /es/precedents { proxy_cache my_zone; proxy_cache_valid 200 304 10m;#这个是文件缓存时间，和访问频率无关 proxy_ignore_h.
2020-06-13 16:03:31
826
原创 Elastic 分片设计及管理
分片设计Es分片水平扩展/rebalancing创建索引时，为索引设计的分片数，会自动分布在集群的节点上，当节点增加时，es也会自动进行分片的移动，这叫做 shard rebalancing多分片的好处：数据写入可以分散到多个机器上查询可以并行进行增加机器，可以no downtime 的水平扩展/分片的重新分配分片的设计与管理——分片是ES存储数据的地方，本质是一个lucene的索引，分片是ES机器实现水平扩展的最小单位，用她来存储数据必然会消耗系统的性能，如果存储的数据过
2020-06-11 15:17:46
1209
原创 Mongo 副本集创建
1修改配置文件sudo vim /usr/local/mongodb4.2/bin/mongodb.conflogpath=/Users/sw/mongodata/logs/mongodb.logfork=truelogappend=truedbpath=/Users/sw/mongodata/dbwiredTigerCacheSizeGB=2port=27017replSet=rs0auth=truekeyFile=/Users/sw/keyfilesudo vim /usr/l
2020-06-10 10:22:29
287
原创 用wt文件恢复mongodb
安装 wt 工具wget http://source.wiredtiger.com/releases/wiredtiger-3.0.0.tar.bz2tar xvf wiredtiger-3.0.0.tar.bz2cd wiredtiger-3.0.0sudo yum install snappy-devel -y./configure --enable-snappymake修复 wt 文件将要修复的mongo的 存储目录整个复制一份到 data ，这里比如我要恢复 colle
2020-06-10 10:17:43
5563
1
prometheus.tar.gz
2020-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人