codis

最新推荐文章于 2024-04-17 07:22:16 发布
最新推荐文章于 2024-04-17 07:22:16 发布
阅读量259 收藏
点赞数 2
分类专栏： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38707718/article/details/80370079
版权

一、zookeeper 安装部署

1、安装java环境

yum search jdk

yum install -y java-1.6.0-openjdk

java-version 检测java是否安装完毕

2、安装zookeeper

tar -C /usr/local/ -xf zookeeper-3.4.8.tar.gz

cd /usr/local/

mv zookeeper-3.4.8 zookeeper

chown root:root -R zookeeper/

cd zookeeper

cp conf/zoo_sample.cfg conf/zoo.cfg #将zookeeper加入环境变量

vim /etc/profile

export

PATH=$PATH:/usr/local/zookeeper/bin

source /etc/profile

env

vim /usr/local/zookeeper/conf/zoo.cfg


clientPort=2181

dataDir=/usr/local/zookeeper/data


server.3=172.25.3.3:2888:3888  //

server.4=172.25.3.4:2888:3888

server.5=172.25.3.5:2888:3888

mkdir -p /usr/local/zookeeper/logs

mkdir -p /usr/local/zookeeper/data/myid

//2888表示zookeeper程序监听端口，3888表示zookeeper选举通信端口

 

  • 1
 

二、、下载并编译安装codis 3.2
 

cd
mkdir /usr/local/codis/src/github.com/CodisLabs
cd /usr/local/codis/src/github.com/CodisLabs/
wget https://github.com/CodisLabs/codis/archive/codis-release3.2.zip
unzip codis-release3.2.zip
mv codis-release3.2  codis
cd codis
make  
 

  • 直接通过 make 进行编译时，如果出现下面的报错
 

In file included from adlist.c:34:
zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory
zmalloc.h:55:2: error: #error "Newer version of jemalloc required"
make[1]: *** [adlist.o] Error 1
make[1]: Leaving directory `/root/redis-4.0.1/src'
make: *** [all] Error 2
 


 

输入下面的命令
 

make MALLOC=libc
 

这里写图片描述
在bin文件夹内生成codis-admin、codis-dashboard、codis-fe、codis-ha、codis-proxy、codis-server六个可执行文件。另外, bin/assets文件夹是codis-dashboard http服务需要的前端资源, 需要和codis-dashboard放置在同一文件夹下。
 

vim /etc/profile.d/go.sh    #修改环境变量

#!/bin/bash

export GOROOT=/usr/local/go
export GOPATH=/usr/local/codis/
export PATH=$PATH:$GOROOT/bin
export PATH=$GOROOT/bin:$GOPATH/bin:$PATH
export PATH=$PATH:/usr/local/codis/src/github.com/CodisLabs/codis/bin/
#export PATH=$PATH:/data/codis/redis/bin
 


 

source /etc/profile.d/go.sh
 

  • 1
 

为Codis创建标准目录
 

mkdir -p /data/codis/sh
mkdir -p /data/codis/conf
mkdir -p /data/codis/log
mkdir -p /data/codis/run
mkdir -p /data/codis/redis/bin
mkdir -p /data/codis/redis/redis-6379
mkdir -p /data/codis/redis/redis-6380
 


 

添加环境变量
 

vim /etc/profile.d/go.sh

#!/bin/bash

export GOROOT=/usr/local/go
export GOPATH=/usr/local/codis/
export PATH=$PATH:$GOROOT/bin
export PATH=$GOROOT/bin:$GOPATH/bin:$PATH
export PATH=$PATH:/usr/local/codis/src/github.com/CodisLabs/codis/bin/
export PATH=$PATH:/data/codis/redis/bin
 


 

source /etc/profile.d/go.sh
 

  • 1
 

配置启动Codis各组件—-启动Redis
 

codis服务器
 

vim /data/codis/redis/redis-6379/redis.conf

daemonize yes
pidfile /data/codis/run/redis-6379.pid
port 6379
tcp-backlog 65535
bind 0.0.0.0
timeout 0
tcp-keepalive 0
loglevel notice
logfile "/data/codis/log/redis-6379.log"
databases 16
lua-time-limit 5000
maxclients 10000

###慢日志参数###
slowlog-log-slower-than 10000
slowlog-max-len 128

###内存参数###
maxmemory 3G
maxmemory-policy noeviction

###RDB持久化参数###
#save 3600 1
#stop-writes-on-bgsave-error yes
#rdbcompression yes
#rdbchecksum yes
#dbfilename dump.rdb

###AOF持久化参数###
#no-appendfsync-on-rewrite yes
#appendonly yes
#appendfilename "appendonly.aof"
#appendfsync no
#auto-aof-rewrite-min-size 512mb
#auto-aof-rewrite-percentage 100
#aof-load-truncated yes
#aof-rewrite-incremental-fsync yes

###客户端Buffer参数### 
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60

###其他参数###
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
latency-monitor-threshold 0

###安全参数###
#requirepass  123456789
 

vim /data/codis/redis/redis-6380/redis.conf

###基本参数###
daemonize yes
pidfile /data/codis/run/redis-6380.pid
port 6380
tcp-backlog 65535
bind 0.0.0.0
timeout 0
tcp-keepalive 0
loglevel notice
logfile "/data/codis/log/redis-6380.log"
databases 16
lua-time-limit 5000
maxclients 10000

###慢日志参数###
slowlog-log-slower-than 10000
slowlog-max-len 128

###内存参数###
maxmemory 3G
maxmemory-policy noeviction

###RDB持久化参数###
#save 3600 1
#stop-writes-on-bgsave-error yes
#rdbcompression yes
#rdbchecksum yes
#dbfilename dump.rdb

###AOF持久化参数###
no-appendfsync-on-rewrite yes
appendonly yes
appendfilename "appendonly.aof"
appendfsync no
auto-aof-rewrite-min-size 512mb
auto-aof-rewrite-percentage 100
aof-load-truncated yes
aof-rewrite-incremental-fsync yes

###客户端Buffer参数### 
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60

###其他参数###
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
latency-monitor-threshold 0

###安全参数###
#requirepass  123456789
 

使用codis-server启动redis
 

codis-server /data/codis/redis/redis-6379/redis.conf
codis-server /data/codis/redis/redis-6380/redis.conf
 


 

配置启动Codis各组件—启动dashboard（集群中某一个节点）
 

生成默认的配置文件:
 

codis-dashboard --default-config | tee /data/codis/conf/dashboard.toml
 

  • 1
 

修改配置文件
 

# Set Coordinator, only accept "zookeeper" & "etcd"
coordinator_name = "zookeeper"
coordinator_addr = "172.25.21.4:2181,172.25.21.6:2181,172.25.21.7:2181"

# Set Codis Product {Name/Auth}.
product_name = "codis-demo"
product_auth = ""

# Set bind address for admin(rpc), tcp only.
admin_addr = "0.0.0.0:18080"

#配置文件参数说明：
coordinator_name：外部存储类型，接受zookeeper/etcd，这里我们使用的zookeeper集群。
coordinator_addr：外部存储地址。
product_name：集群名称，满足正则\w[\w\.\-]*。
product_auth：集群密码，默认为空。
admin_addr：RESTful API端口。
 


 

启动dashboard
 

nohup codis-dashboard --ncpu=2 --config=/data/codis/conf/dashboard.toml --log=/data/codis/log/dashboard.log --log-level=WARN &
 

  • 1
 

参数解释： 
–ncpu=N：最大使用CPU个数。 
-c CONF, –config=CONF：指定启动配置文件。 
-l FILE, –log=FILE：设置log输出文件。 
–log-level=LEVEL：设置log输出等级：INFO,WARN,DEBUG,ERROR，默认INFO，推荐WARN。
 

PS：dashboard只需要在一个节点启动即可，启动时会向zookeeper注册信息（topom），如果有其他节点也启动dashboard时，向zookeeper注册信息发现里面有信息时，就会无法启动的。
 

配置启动Codis各组件—-启动codis-proxy（集群中所有节点）
 

生成默认的配置文件:
 

codis-proxy --default-config | tee /data/codis/conf/proxy.toml
 

  • 1
 

vim /data/codis/conf/proxy.toml

product_name = "codis-demo"
product_auth = ""
admin_addr = "0.0.0.0:11080"
proto_type = "tcp4"
proxy_addr = "0.0.0.0:19000"
jodis_addr = "10.0.60.152:2181,10.0.60.153:2181,10.0.60.154:2181"
jodis_timeout = 10
backend_ping_period = 5
session_max_timeout = 1800
session_max_bufsize = 131072
session_max_pipeline = 1024
session_keepalive_period = 60

#配置文件参数介绍：
product_name：产品名称, 这个codis集群的名字, 可以认为是命名空间, 不同命名空间的codis没有交集。
product_auth：集群密码，默认为空。Codis 3.x支持AUTH，但是要求所有组件使用的AUTH必须完全相同。
admin_addr：RESTful API端口。
proto_type：Redis端口类型，接受tcp/tcp4/tcp6/unix/unixpacket。
proxy_addr：Redis端口地址或者路径。
jodis_addr：Jodis注册zookeeper地址。
jodis_timeout：Jodis注册session timeout时间，单位second。
backend_ping_period：与codis-server探活周期，单位second，0表示禁止。
session_max_timeout：与client连接最大读超时，单位second，0表示禁止。
session_max_bufsize：与client连接读写缓冲区大小，单位byte。
session_max_pipeline：与client连接最大的pipeline大小。
session_keepalive_period：与client的tcp keepalive周期，仅tcp有效，0表示禁止。
 


 

启动codis-proxy
 

nohup codis-proxy --ncpu=2 --config=/data/codis/conf/proxy.toml --log=/data/codis/log/proxy.log --log-level=WARN &
 

  • 1
 

codis-proxy启动后，处于waiting状态，监听proxy_addr地址，但是不会accept连接，添加到集群并完成集群状态的同步，才能改变状态为online。 
通过codis-fe添加。
 

配置启动Codis组件—启动codis-fe
 

生成默认的配置文件:
 

codis-admin --dashboard-list --zookeeper=127.0.0.1:2181 | tee /data/codis/conf/codis.json
 

  • 1
 

vim /data/codis/conf/codis.json
[
    {
        "name": "codis-demo",
        "dashboard": "172.25.21.4:18080"
    }
]
 

 


 

 

 
 
 

 


 



                

        

        

    




    

      

        

            

              
                
                  qq_38707718
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Codis ansiable playbook 一键部署

				
			

			

				

					03-21
				

			

		

		

			
				
Codis Ansible Playbook 是一个自动化部署工具，用于简化 Codis 的集群安装和管理过程。Codis 是一个分布式 Redis 解决方案，它允许你水平扩展 Redis 集群，提高数据存储和处理能力。Ansible 是一个强大的 IT 自动化...

			
		

	



                

              
                



	

		

			

				
					
深入了解Codis

				
			

			

				

					flynetcn的专栏
				

				

					08-23
					
					3238
					
				

			

		

		

			
				
Codis将特定的Key转发到特定的Redis实例，集群中每个实例都保存一部分Key，降低其他实例的压力，同时所有实例的数据加起来，就是一份完整的信息。

			
		

	



                


  
              

                


	

		

			

				
					
redis之codis和redis cluster对比

				
			

			

				

					wang0907的博客
				

				

					12-16
					
					1990
					
				

			

		

		

			
				
codis和都是Redis的集群方案，本文就一起来看下。

			
		

	





	

		

			

				
					
Codis安装与部署_codis安装教程，贼好用的Linux运维学习路线集合

					
最新发布

				
			

			

				

					m0_60226911的博客
				

				

					04-17
					
					882
					
				

			

		

		

			
				
新增的集群 slot 状态是 offline，因此我们需要对它进行初始化（将 1024 个 slot 分配到各个 group），而初始化最快的方法可通过 fe 提供的 rebalance all slots 按钮来做，如下图所示，点击此按钮，我们即快速完成了一个集群的搭建。使用 codis-proxy-admin.sh 脚本启动 codis-proxy，并查看 proxy 日志确认启动是否有异常。使用 codis-fe-admin.sh 脚本启动 codis-fe，并查看 fe 日志确认启动是否有异常。

			
		

	



		

			
		



	

		

			

				
					
超详细！Codis 入门与实践

				
			

			

				

					民工哥的博客
				

				

					03-02
					
					4895
					
				

			

		

		

			
				
点击下方“民工哥技术之路”，选择“设为星标”回复“1024”获取独家整理的学习资料！背景Redis 在 3.0 的时候,推出了一个集群解决方案: redis-cluster. 能让我们通过...

			
		

	





	

		

			

				
					
Codis搭建详细攻略

				
			

			

				

					InternalsOf
				

				

					04-03
					
					1520
					
				

			

		

		

			
				
codis搭建&迁移方案
1.1 codis迁移规格
ECS：测试实例3台32C128GB规格
REDIS：Redis 4.0—128G集群版16节点
1.2 codis-demo架构

zookeeper集群:
192.168.10.45
192.168.10.46
192.168.10.47
codis-config、codis-dashboard：
192.168.10.45:180...

			
		

	





	

		

			

				
					
Codis的原理以及部署—— CODIS （分布式 Redis 解决方案）

					
热门推荐

				
			

			

				

					ymeng9527的博客
				

				

					08-15
					
					1万+
					
				

			

		

		

			
				
1.什么是Codis？
Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别
(不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作,
所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是...

			
		

	





	

		

			

				
					
codis/redis 迁移redis cluster工具

				
			

			

				

					08-18
				

			

		

		

			
				
《Redis与Codis之间的迁移工具详解》  在分布式系统中，Redis和Codis都是常见的缓存解决方案。然而，随着业务的发展，有时我们需要将数据从一个系统迁移到另一个系统，例如从Codis迁移到Redis Cluster，或者反之。...

			
		

	





	

		

			

				
					
codis安装文档以及安装包

				
			

			

				

					09-23
				

			

		

		

			
				
**CODIS 安装详解**  CODIS（Cluster Of Distributed Internet Services）是阿里巴巴开源的一个分布式数据库中间件，主要用于解决单机数据库扩展性问题，支持水平扩展，具有高可用性，能够透明化切换数据路由。CODIS...

			
		

	





	

		

			

				
					
codis-3.2.2.zip

				
			

			

				

					09-02
				

			

		

		

			
				
《分布式Redis框架Codis 3.2.2详解》  Codis是一款开源的、基于Go语言编写的分布式Redis解决方案，其主要目标是解决单个Redis实例在数据量和并发访问量上的瓶颈问题。在3.2.2这个版本中，Codis提供了稳定性和性能上...

			
		

	





	

		

			

				
					
codis部署文档

				
			

			

				

					07-26
				

			

		

		

			
				
codis的高可用部署文档，经测试是可以使用的。。。。。

			
		

	





	

		

			

				
					
jodis-client:访问Codis的Java客户端

				
			

			

				

					05-13
				

			

		

		

			
				
标题"jodis-client:访问Codis的Java客户端"指出我们要讨论的是一个名为"jodis-client"的Java库，它的主要功能是作为一个客户端，用于连接和操作Codis服务。Codis是阿里巴巴开源的一个分布式Redis解决方案，它提供了...

			
		

	





	

		

			

				
					
Codis安装部署包（Linux）

				
			

			

				

					12-30
				

			

		

		

			
				
** Codis 安装部署详解 **  Codis 是一个分布式 Redis 解决方案，它为单机版 Redis 提供了水平扩展能力，通过代理服务器（Proxy）实现客户端与多个 Redis 实例之间的透明通信。这个安装包包含了 Codis 部署所需的...

			
		

	





	

		

			

				
					
Codis3.1集群搭建文档

				
			

			

				

					11-04
				

			

		

		

			
				
Codis3.1集群搭建需要规划服务器的IP地址和角色，安装Go语言环境，安装Codis，启动Codis Server、Codis Manager、Codis Proxy和Codis FE，搭建Zookeeper集群。整个搭建过程需要逐步完成，每步骤都需要严格按照要求...

			
		

	





	

		

			

				
					
codis-docker

				
			

			

				

					05-07
				

			

		

		

			
				
适用于Codis的Docker版本 Docker Hack Day项目，北京，2015年 Dodis是基于Docker和codis的Redis集群解决方案。 它支持自动缩放，数据故障转移，数据自动重新平衡，多租户。 基于Docker的Dodis非常易于部署，并且可以...

			
		

	





	

		

			

				
					
codis性能测试

				
			

			

				

					07-10
				

			

		

		

			
				
CODIS（Cluster Of Distributed Internet Services）是阿里巴巴开源的一款分布式数据库中间件，主要解决单机数据库扩展性问题，支持水平扩展，能够实现数据的自动分片、读写分离以及平滑扩容。在本“codis性能测试”...

			
		

	





	

		

			

				
					
OPCUA client 相关方法

				
			

			

				

					qq_34631813的博客
				

				

					12-10
					
					5379
					
				

			

		

		

			
				
using System;
using System.Threading;
using System.Threading.Tasks;
using Opc.Ua;
using Opc.Ua.Client;
using Opc.Ua.Configuration;
namespace ConsoleApp1
{
//参考至:https://github.com/dathlin/OpcUaHelper
...

			
		

	





	

		

			

				
					
4000余字为你讲透Codis内部工作原理

				
			

			

				

					个推技术学院
				

				

					12-17
					
					5155
					
				

			

		

		

			
				
一、引言

Codis是一个分布式 Redis 解决方案，可以管理数量巨大的Redis节点。个推作为专业的第三方推送服务商，多年来专注于为开发者提供高效稳定的消息推送服务。每天通过个推平台下发的消息数量可达百亿级别。基于个推推送业务对数据量、并发量以及速度的要求非常高，实践发现，单个Redis节点性能容易出现瓶颈，综合考虑各方面因素后，我们选择了Codis来更好地管理和使用Redis。

...

			
		

	





	

		

			

				
					
codis安装部署

				
			

			

				

					yinjl123456的博客
				

				

					03-14
					
					1319
					
				

			

		

		

			
				
codis安装部署
codis简介
Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别, 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.
redis集群搭建_亲自操作
redis哨兵搭建_主从复制高可用解决方案
Codis

			
		

	





	

		

			

				
					
springboot codis

				
			

			

				

					12-07
				

			

		

		

			
				
另外，Spring Boot还通过自动配置和注解简化了与Codis的集成过程，开发者只需在配置文件中指定Codis的相关信息，Spring Boot就可以自动创建并管理Codis实例。这样可以大大减少开发和维护的工作量，提高整个应用程序...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值