Redis及其发布订阅机制学习|kafka相关经验

Redis
键值数据库 key value
NoSql

第一章: 差异
#1 structured 结构化
约束 primary unique unsigned
#2 relational 关联的
#3 SQL查询
例 select id, name, age from tb_user where id=1
redis get user:1
mongoDB db.users.find({_id: 1})
elasticsearch GET http://localhost:9200/users/1
#4 事务 ACID 基本一致 无事务
键值类型 Redis 文档类型 MongoDB 列类型 HBase Graph类型 Neo4j
存储方式 磁盘 内存
扩展性 垂直 水平
Remote Dictionary Server 远程词典服务器 基于内存的键值型NoSQL数据库
特征:
键值key-value型 value支持多种不同数据结构,功能丰富
单线程,每个命令具备原子性 低延迟 速度快 基于内存,IO多路复用
-支持数据持久化
-支持主从集群,分片集群
-支持多语言客户端

安装Redis依赖 redius是基于C语言编写 需要安装Redis所需要的gcc依赖:
yum install -y gcc tcl
解压: tar -zxvf redis-6.2.6.tar.gz
进入redis目录: cd redis-6.2.6
运行编辑命令: make && make install 编译 安装
内容: redis-cli 命令行客户端 redis-server
任意目录 redis-server 端口 6379
–默认启动方式
–指定配置启动 流程: 配置文件备份 cp redis.conf redis.conf.bck
修改redis.conf文件配置
bind 0.0.0.0 任意ip地址可以访问
#守护进程,修改为yes后即可后台运行 daemonize yes
#密码,设置后访问redis必须输入密码 requirepass xxxxx
其他常见配置 #监听端口 port
#工作目录 dir
#数据库数量 databases 默认有16个库,编号0-15
#能够使用的最大内存 maxmemory 512mb
#日志文件 默认为空 不记录日志 logfile “redis.log”
启动 redis-server redis.conf
—开机自启

redis客户端
1 命令行客户端
使用方式: redis-cli [options][commonds]
常见options -h IP地址 -p 端口 -a 访问密码
操作命令commonds ping 与redis服务端做心跳测试,服务端正常会返回pong
set name xxx
get name
SELECT 0 0号库

2 图形化客户端

3 编程客户端

redis常见命令
数据结构介绍 key-value
key一般是string类型
value多类型 string hash list set sortedset geo bitmap hyperlog
redis官网 commands 分组
命令行 help help @

redis通用命令 keys组下 @generic
KEYS: 查看符合模板的所有key(通配符) 例 KEYS * KEYS a* 以a开头
DEL: 删除一个指定的KEY
MSET: 批量插入
EXISTS: 判断key是否存在
EXPIRE: 给key设置有效期 有效期到期key被自动删除 EXPIRE key seconds
TTL: 查看KEY的剩余有效期

String类型 底层都是字节数组形式存储,编码方式不同。
SET GET MSET MGET INCR INCRBY 自增,自增指定步长 SETNX (前提key不存在 否则不执行)
Redis的key允许多个单词形成层级结构,多个单词用’:'隔开,
例: 项目名:业务名:类型:id

hash类型 散列 value是无序字典,类似java中的hashmap结构
常见命令 前缀加H field

List类型 双向链表结构 支持正向检索 反向检索

java客户端
Jedis

  1. 引入依赖

    redis.clients
    jedis
    3.7.0
  2. 建立连接
    private Jedis jedis;
    @BeforeEach
    void setUp(){
    //建立连接
    jedis = new Jedis(“xxx”, xxx);
    jedis.auth(“password”); //密码
    jedis.select(0);
    }

Jedis本身线程不安全 频繁创建和销毁会有性能损耗 推荐使用连接池
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
jedisPoolConfig.setMaxTotal(); //最大连接
jedisPoolConfig.setMaxIdle(); //最大空闲连接
jedisPoolConfig.setMaxIdle(); //最小空闲连接
jedisPoolConfig.setMaxWaitMillis(); //设置最长等待时间
jedisPool = new JedisPool(jedisPoolConfig, xxx, xxx, timeout, password)

public static Jedis getJedis(){
return jedisPool.getResource();
}

Redis 发布订阅机制
简介:
Redis 发布订阅(Pus/Sub)是一种消息通信模式:发送者通过 PUBLISH发布消息,订阅者通过 SUBSCRIBE 订阅接收消息或通过UNSUBSCRIBE 取消订阅。主要由「发布者」、「订阅者」、「Channel」三个部分组成。
发布者和订阅者属于客户端,Channel 是 Redis 服务端,发布者将消息发布到频道,订阅这个频道的订阅者则收到消息。

1 基于频道的发布订阅
//在redisServer中,有一个字典类型字段pubsub_channels 用来保存订阅信息,其中key为频道,value为订阅该频道的客户端
struct redisServer{
pid_t pid;
//将频道映射到已订阅客户端的列表
dict *pubsub_channels
}

2 基于模式的发布订阅
//在redisServer中有一个pubsub_patterns属性,该属性表示一个链表,链表中保存着所有和模式相关的信息
struct redisServer{
list *pubsub_patterns;
}
typedef struct pubsubPattern{
client *client; – 订阅模式客户端
robj *pattern; --被订阅的模式
} pubsubPattern;

需要注意的是,发布消息与监听消息要运行在不同的 JVM,如果使用同一个 redissonClient 发布的话,不会监听到自己的消息。

缺陷:
发布者不知道订阅者是否收到发布的消息
订阅者不知道自己是否收到了发布者发出的所有消息
发送者不能获知订阅者的执行情况
没人知道订阅者何时开始收到消息

实现
生产者代码

 * 发布消息到 Topic
 * @param message 消息
 * @return 接收消息的客户端数量
public long sendMessage(String message) {
    RTopic topic = redissonClient.getTopic(CHANNEL);
    long publish = topic.publish(message);
    log.info("生产者发送消息成功,msg = {}", message);
    return publish;
}

消费者代码

public void onMessage() {
  // in other thread or JVM
  RTopic topic = redissonClient.getTopic(CHANNEL);
  topic.addListener(String.class, (channel, msg) -> {
    log.info("channel: {} 收到消息 {}.",  channel, msg);
  });
}

Spring boot整合redis

消息监听配置
@Configuration
public class RedisSubConfig {
    public static final String SUB_KEY = "chat";//频道channel
     * redis消息监听器容器
     * 可以添加多个监听不同话题的redis监听器,只需要把消息监听器和相应的消息订阅处理器绑定,该消息监听器
     * 通过反射技术调用消息订阅处理器的相关方法进行一些业务处理
     * @param connectionFactory
     * @param listenerAdapter
     * @return
    @Bean
    RedisMessageListenerContainer container(RedisConnectionFactory connectionFactory, MessageListenerAdapter listenerAdapter) {
        RedisMessageListenerContainer container = new RedisMessageListenerContainer();
        container.setConnectionFactory(connectionFactory);
        //订阅了一个频道
        container.addMessageListener(listenerAdapter, new PatternTopic(RedisSubConfig.SUB_KEY));
        return container;
    }
    
   * 消息监听器适配器,绑定消息处理器,利用反射技术调用消息处理器的业务方法
    @Bean
    MessageListenerAdapter listenerAdapter(RedisReceiver receiver) {
        return new MessageListenerAdapter(receiver, "receiveMessage");
    }
    /**
     * redis 读取内容的template
     * @param connectionFactory
     * @return
     */
    @Bean
    StringRedisTemplate template(RedisConnectionFactory connectionFactory) {
        return new StringRedisTemplate(connectionFactory);
    }
}

接收消息

@Service
public class RedisReceiver {
    public void receiveMessage(String message) {
        System.out.println("接收消息:" + message);
    }
}

采用定时器发布消息

@EnableScheduling //开启定时器功能
@Component
public class MessageSender {
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    @Scheduled(fixedRate = 5000) //间隔5s 通过StringRedisTemplate对象向redis消息队列chat频道发布消息
    public void sendMessage(){
        stringRedisTemplate.convertAndSend("chat", "hello "+ new Date());
    }
}

kafka相关
消息头格式
RecordHeaders(headers = [RecordHeader(key = messageType, value = [0, 0, 0, 1]), RecordHeader(key = operationCode, value = [0, 0, 0, 1]), RecordHeader(key = messageId, value = [52, 52, 52, 53, 53, 53])], isReadOnly = false)
使用java读取消息头

private MsgHeader parseMsgHeaders(Headers headers) {
        MsgHeader msgHeader = new MsgHeader();
        Header xxxHeader = headers.lastHeader("xxx");
        if (xxxHeader != null) {
            msgHeader.setXXX(new String(xxxHeader.value()));
        }
        return msgHeader;
    }

使用go发送消息头

headers := []sarma.RecordHeader{
    sarama.RecordHeader{
        Key: []byte("kkk"),
        Value: []byte("vvv"),
}}
msg := &sarama.ProducerMessage{
    Topic: "topic",
    Key: sarama.StringEncoder("  "),
    Value: sarama.StringEncode("  "),
    Headers: headers,
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值