排序:
默认
按更新时间
按访问量

大数据框架图谱(总览)

前言 加入大数据开发加起来也差不多快1年多的时间了。最近的时间比较空余,正好把所有的大数据开源框架都总结一下。 Hadoop & Hive & Pig &am...

2018-03-23 15:11:16

阅读数:2102

评论数:0

ZooKeeper模拟集群构建 (Docker版本)

前言 之前答应以为博友,构建一下Kafka的JAAS验证过程。但是好久没有使用Docker了,于是先拿ZooKeeper虚拟集群试试手。 PS: 在之前的工作和学习过程中,没有项目的实例进行保存,是在是有点尴尬的。其次,有些朋友不经历复杂的实践过程并不能构建出一套可以使用的系统。于是本次,使用do...

2018-11-14 00:00:22

阅读数:11

评论数:0

Redis Demo系列之(六)消息队列 pub/sub

前言 redis设计的初衷并不是为了消息队列而设计的,但是有太多的人将Redis作为消息队列而使用。Redis消息队列时,当Redis宕机后,消息会丢失。如果收消息方未有重发和验证机制,Redis内的数据会出现丢失。所以,使用Redis的作为消息队列,通常是对于消息的准确性并非特别高的场景。当需...

2018-07-26 23:29:50

阅读数:183

评论数:0

Redis Demo系列之(五)分布式锁

前言 线程之间锁问题多解决主要有数据库锁机制、Redis分布式锁、ZooKeeper分布式锁。其中Redis内单节点的分布式锁可以使用setnx进行处理。集群环境需要使用redisson。 Demo /** * Jedis lock. * * */ public class ...

2018-07-26 23:15:11

阅读数:65

评论数:0

Redis Demo系列之(四)排行榜

前言 通常游戏都会有统计装备评分的排行榜。这通常是使用Redis内的zset数据结构实现的。于此,同时还可以使用zremrangeByRank方法剔除超过比如1000的数据,以此来减少redis内的内存消耗。 Demo public class RankListDemo { ...

2018-07-26 23:08:04

阅读数:221

评论数:0

Redis Demo系列之(三)累加器

前言 累加器也是Redis场见的应用之一。值得注意的是Redis内的命令诸如incr等命令皆为原子操作。但是多命令组合而成的操作,为非原子操作。(如abc=incr(hello) get(hello) set(hello,abc)。此类操作需要使用Multi或Lua脚本保证Redis内操作的正确...

2018-07-26 23:00:40

阅读数:399

评论数:0

Redis Demo系列之(二)模糊匹配

前言 经常需要使用模糊匹配Redis内keys,模糊匹配Redis内的keys可以通过2种方式: keys scan 但是值得注意的是,这两种方式都是不可以于集群环境下直接使用的。集群环境推荐使用{hash_tag},将相同的hash_tag的键放置于一个节点上,便于计算了运行。当然,我们...

2018-07-26 22:51:01

阅读数:115

评论数:0

Redis 如何删除所有内容

Question 删除Redis内所有内容。 Solution redis-cli public static void resetRedis() { jedisCluster = RedisManager.getJedis(); // your JedisClust...

2018-07-26 22:37:41

阅读数:748

评论数:0

Redis Demo系列之(一)获取Jedis链接及Jedis连接池

前言 本章主要介绍Redis的Java实现Jedis的获取与简单使用,本章节主要包括如下几个部分: Jedis JedisPool RedisSentinelPool(哨兵模式) RedisClusterPool(集群模式) 注: Spring-Redis还有使用ShardRedis以及...

2018-07-26 22:28:16

阅读数:105

评论数:0

瞬时高并发(秒杀/活动)Redis方案

前言 看到一篇写redis的总结性文章,非常不错。转载于此。 丰富的数据结构(Data Structures) 字符串(String) Redis字符串能包含任意类型的数据 一个字符串类型的值最多能存储512M字节的内容 利用INCR命令簇(INCR, D...

2018-07-26 22:01:34

阅读数:74

评论数:0

几点建议,让Redis在你的系统中发挥更大作用

前言 于2011年redis的作者写了一篇关于Redis使用优点的文章How to take advantage of Redis just adding it to your stack 。中文翻译为:几点建议,让Redis在你的系统中发挥更大作用。其中非常详细的介绍了Redis的常见的使用...

2018-07-26 21:52:59

阅读数:98

评论数:0

Kafka常用命令(带SASL权限版)

前言 一般需要使用的Kafka原生命令多位于bin目录,其下具有的脚本如下 kafka-topics.sh kafka-console-producer.sh kafka-console-consumer.sh kafka-acls.sh kafka-consumer-groups.sh ...

2018-07-23 12:07:27

阅读数:298

评论数:0

Redis Q&A (持续更新)

前言 本章主要记录使用Redis&Redis Cluster&Jedis的过程中遇到的报错与一系列问题。 Q&A 单个Jedis,多线程调用,导致异常。 * 多线程redis抛出异常B cannot be c...

2018-07-19 15:10:09

阅读数:43

评论数:0

Redis Cluster 运维环境安装记录

前言 之前安装Redis Clutser模式遇到很多坑,一直没有总结。最近有时间,总结一下,相关的内容。 Redis 安装(略) GCC安装 Ruby的安装 Ruby内 Redis.gem的安装 Redis Cluster的安装配置和启动 本文使用的资源,可在我的Github项目http...

2018-07-18 11:44:56

阅读数:113

评论数:0

Redis Client UI工具

前言 使用Redis做缓存也有一段时间了,一款趁手的UI工具可以省下很多的开发时间。这里,便总结下我所使用的Redis UI 工具。 Redis Client 原生工具 Redis Client (github) Redis Desktop Manager (RDM) FastoRedis ...

2018-07-18 11:18:08

阅读数:1406

评论数:0

Redis & Redis Cluster 字段模糊匹配及删除

Questions 在数据库内我们可以通过like关键字、%、*或者REGEX关键字进行模糊匹配。而在Redis内我们如何进行模糊匹配呢?集群情况Redis Cluster的情况是否和单机一致呢?前段时间我对于这个议题进行了调查和研究。 单节点的情况 Jedis 参考stackove...

2018-06-20 23:37:29

阅读数:1101

评论数:2

Redis 乱码解决与思考

Question 前端时间,工作的时候。测试数据,有位同事测试老是失败。经过调查定位,发现是Redis内存储的数据格式不对。比较奇怪的是,远程SSH登陆到同一台机器操作,由于客户机的编码不一致,启动的时候会导致乱码的情况。特别是英文操作系统存储中文字符的时候。 Solution 编码的问...

2018-06-20 23:13:50

阅读数:1400

评论数:0

Flume自定义开发常见异常及解决办法(持续更新)

前言 前些日子,对Flume进行了自定义sink和source的开发。遇到一些异常,以后关于Flume的异常都统一记录与此处。(除了个别较为麻烦的异常处理) 正文 Flume source has been removed due to an error in configuratio...

2018-06-07 09:37:38

阅读数:269

评论数:0

Spark集群无法停止:"no org.apache.spark.deploy.master.Master to stop"

Question 前段时间Spark遇到一个Spark集群无法停止的问题,操作为./stop-all.sh no org.apache.spark.deploy.master.Master to stop no org.apache.spark.deploy.worker.Worker to ...

2018-04-28 17:12:43

阅读数:211

评论数:0

Redis 面试题(持续更新)

前言 看了一圈,发现Redis的面试题主要问的是如下几块: 原理 用处(缓存/队列 包括Pub、Sub/计数器/排行榜等) 基本操作与数据类型 消息队列 且与其它消息队列的区别 主从备份 宕机如何处理 持久化及原理(原生持久化 & 结合Mysql等数据库持久化...

2018-03-25 20:50:31

阅读数:6615

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭