Redis/Storm/Kafka
爱知菜
Renjie Wei
展开
-
Redis bgsave & setnx & zset
bgsave & saveredis的数据库备份命令, 区别是阻塞:save会阻塞主线程, 锁定当前内存中的数据库写入磁盘, save期间redis无法处理外部命令, 直到写入完成bgsave也会阻塞主线程, 只不过阻塞时间短一点, 它的逻辑是先把当前内存数据库复制一份(fork), 复制完了, 原来的数据库就能继续正常工作了, 而把fork出来的拷贝写入磁盘. 网上有说法, ...原创 2019-02-12 10:40:36 · 357 阅读 · 0 评论 -
Lambda 架构 Speed Layer 详解
前文链接:https://blog.csdn.net/rav009/article/details/85690985Speed Layer作为实时处理层和离线处理层相辅相成,当增量数据被离线处理完毕,实时层就不必继续处理这批数据了,术语叫作: Expiring Real-Time View那么问题来了,怎么通知Speed Layer某一部分数据已经被离线处理完毕,可以释放了呢?...原创 2019-01-04 18:56:53 · 702 阅读 · 0 评论 -
Kafka简介, Kafka和RabbitMQ区别
https://www.cnblogs.com/xjh713/p/7388262.htmlKafka专用术语: Broker:消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。 Topic:topic是一个逻辑上的概念, 指一类消息,Kafka集群能够同时负责多个topic的分发. 一个topic可以有多个分区 partit...转载 2018-09-17 11:35:15 · 269 阅读 · 0 评论 -
Redis 杂记(安装,conf,还原rdb,查看key过期时间)
Redis有两个linux和windows两个版本,截至本文发表时,linux是5.05,而windows的版本不是官方的,版本为3.2。这两个版本的redis的dump.rdb文件并不兼容。Linux的redis安装:下载官网的压缩包,tar xzvf 解压,cd进入src目录,make install启动: redis-server /dir/redis.confco...原创 2019-06-26 13:32:18 · 2137 阅读 · 0 评论 -
Kafka 命令行操作
CDH 的 kafka 命令脚本安装目录:/opt/cloudera/parcels/KAFKA-2.2.0-1.2.2.0.p0.68/lib/kafka/binList Topics:./kafka-topics.sh --zookeeper 172.16.26.4:2181/kafka --listList Consumer Groups:./kafka-co...原创 2019-07-10 15:12:01 · 516 阅读 · 0 评论 -
大型系统的Redis性能优化
本文为转载:https://blog.csdn.net/vcbin/article/details/53941682问题描述系统背景:大型线上Java服务集群(活跃用户数上千万),业务重度使用Redis存储个管理Session,业务并发量>1WQPS,基本上每个请求都需要访问Redis(可能是多次),使用了AWS的Redis服务Redis在平时正常流量下平均响应时间是1...转载 2019-10-11 18:03:25 · 262 阅读 · 0 评论