基于Hadoop集群的Redis集群搭建以及自定义脚本运行

最新推荐文章于 2024-07-15 17:09:54 发布

章鱼没有小丸子

最新推荐文章于 2024-07-15 17:09:54 发布

阅读量836

点赞数 1

分类专栏： BIGDATA 文章标签： redis集群 ssh脚本

本文链接：https://blog.csdn.net/qq_35324330/article/details/91948654

版权

本文介绍了如何在Hadoop集群环境中搭建Redis集群，详细阐述了集群通信机制、槽的分配原则以及如何确保槽的均匀分布。在搭建过程中，特别提到了需要Ruby环境来运行集群管理脚本redis-trib.rb。此外，还讲解了配置Redis集群的步骤，包括设置端口号、修改cluster-enable为yes，并通过自定义脚本start-redis-all.sh启动集群。最后，通过命令行验证了集群的正确运行。

摘要由CSDN通过智能技术生成

                    
                        
                    
                    前期准备：hadoop集群
Redis集群的搭建：
 这里以3台虚拟机，6个redis数据库为例
 1、 集群通信是通过“ping-pong”机制进行通信；
 2、 客户端不需要将所有的节点都连接上，只需要连接其中一个节点即可。
 3、 集群中存储数据是存储到一个个的槽中，集群中槽的个数是固定的：16384，槽的编号是【0-16383】。在集群中存储数据时，会根据key进行计算，计算出一个结果，然后将这个结果和16384取余，余数就是这个key将要存储的槽的编号。
 注意：槽的编号之间不能断开。
 槽的计算会将数据保存的很平均，不会产生一个槽满一个槽空的情况。
由于集群的脚本是用ruby语言编写的，所以需要准备ruby的环境
 10.3.1 Ruby环境准备
 需要ruby环境。搭建集群的脚本是ruby实现的。
 redis集群管理工具redis-trib.rb依赖ruby环境，首先需要安装ruby环境：
 安装ruby
 yum install -y ruby
 yum install -y rubygems
 安装ruby和redis的接口程序
 拷贝redis-3.0.0.gem至/u!查看源码文件](F:\文档\Redis详解\查看源码文件.png)sr/local下
 执行：
 gem install /usr/local/redis-3.0.0.gem
机器准备
 集群环境最少要三台机器（master），每个主机都需要配置一个从机。即总共需要6台机器。
 6台机器的端口号如下：
 7001
 7002
 7003
 7004
 7005
 7006

                