memcahe 取模 一致性哈希算法

最新推荐文章于 2021-10-17 18:46:56 发布
最新推荐文章于 2021-10-17 18:46:56 发布
阅读量510 收藏 1
点赞数
分类专栏： mysql 
<?php
 #分布式memcache 一致性哈希算法（采用环状数据结构）
 class ConsistentHashMemcache
 {
     private $virtualNode='';      #用于存储虚拟节点个数
     private $realNode=array();    #用于存储真实节点
     private $servers=array();     #用于存储memcache服务器信息
     #private $totalNode=array();   #节点总数
     /**
         * @desc 构造函数
         *
         * @param $servers array    | memcache服务器的信息
         * @param $virtualNode int | 虚拟节点个数，默认64个
         */
     public function __construct($servers, $virtualNode=64)
     {
         $this->servers=$servers;
         $this->realNode=array_keys($servers);
         $this->virtualNode=$virtualNode;
     }

     /**
    * @return int 返回32位的数字
    */
     private function hash($str)
     {
         return sprintf('%u',crc32($str));   #将字符串转换为32位的数字 28
     }

     /**
     * @desc 处理节点
     *
     * @param $realNode     array | 真实节点
     * @param $virturalNode int   | 虚拟节点个数
     *
     * @return array 返回所有节点信息
     */
     private function dealNode($realNode, $virtualNode)
     {
         $totalNode=array();
         foreach ($realNode as $v)
          {
               for($i=0; $i<$virtualNode; $i++)
               {
                   $hashNode=$this->hash($v.'-'.$i);
                   $totalNode[$hashNode]=$v;
               }
         }
         ksort($totalNode);     #按照索引进行排序，升序
         return $totalNode;
     }

     /**
     * @desc 获取key的真实存储节点
     *
     * @param $key string | key字符串
     *
     * @return string 返回真实节点
     */
     private function getNode($key)
     {

          $totalNode=$this->dealNode($this->realNode, $this->virtualNode);
          #获取所有虚拟节点
         /* #查看虚拟节点总数
         echo "<pre>";
         print_r($totalNode);
         echo "</pre>";die;
         */
         $hashNode=$this->hash($key);            #key的哈希节点
         foreach ($totalNode as $k => $v)        #循环总结点环查找
          {
              if($k >= $hashNode)                 #查找第一个大于key哈希节点的值
              {
                  echo $v;
                    return $v;                      #返回真实节点 74
              }
          }
             return reset($totalNode); #假若总节点环的值都比key哈希节点小，则返回第一个总哈希环的value值
      }

     /**
     * @desc 返回memcached对象
     *
     * @param $key string | key值
     *
     * @return object
     */
     private function getMemcached($key)
     {
         $node=$this->getNode($key);             #获取真实节点
         echo  $key.'真实节点：'.$node.'<br/>'; #测试使用，查看key的真实节点
         $host=$this->servers[$node]['host'];    #服务器池中某台服务器host
         $port=$this->servers[$node]['port'];    #服务器池中某台服务器port
         $m= new memcache();                    #实例化
         $m->addserver($host, $port);            #添加memcache服务器 94
         return $m;                              #返回memcached对象 95
      }

     /**
     * @desc 设置key-value值
     */
     public function setKey($key, $value)
     {
            $m=$this->getMemcached($key);
            return $m->set($key, $value);
     }

     /**
     * @desc 获取key中的value
      */
     public function getKey($key)
     {
         $m=$this->getMemcached($key);
         return $m->get($key);
     }
 }

$arr=array(
    array('host'=>'192.168.1.23', 'port'=>'11213'),
    array('host'=>'127.0.0.1', 'port'=>'11211'),
    array('host'=>'192.168.1.195', 'port'=>'11212'),
);
$mod=new ConsistentHashMemcache($arr);
$mod->setKey('梅','11111');









<?php
 #分布式memcache 一致性哈希算法（采用环状数据结构）
 class ConsistentHashMemcache
 {
     private $virtualNode='';      #用于存储虚拟节点个数
     private $realNode=array();    #用于存储真实节点
     private $servers=array();     #用于存储memcache服务器信息
     #private $totalNode=array();   #节点总数
     /**
         * @desc 构造函数
         *
         * @param $servers array    | memcache服务器的信息
         * @param $virtualNode int | 虚拟节点个数，默认64个
         */
     public function __construct($servers, $virtualNode=64)
     {
         $this->servers=$servers;
         $this->realNode=array_keys($servers);
         $this->virtualNode=$virtualNode;
     }

     /**
    * @return int 返回32位的数字
    */
     private function hash($str)
     {
         return sprintf('%u',crc32($str));   #将字符串转换为32位的数字 28
     }

     /**
     * @desc 处理节点
     *
     * @param $realNode     array | 真实节点
     * @param $virturalNode int   | 虚拟节点个数
     *
     * @return array 返回所有节点信息
     */
     private function dealNode($realNode, $virtualNode)
     {
         $totalNode=array();
         foreach ($realNode as $v)
          {
               for($i=0; $i<$virtualNode; $i++)
               {
                   $hashNode=$this->hash($v.'-'.$i);
                   $totalNode[$hashNode]=$v;
               }
         }
         ksort($totalNode);     #按照索引进行排序，升序
         return $totalNode;
     }

     /**
     * @desc 获取key的真实存储节点
     *
     * @param $key string | key字符串
     *
     * @return string 返回真实节点
     */
     private function getNode($key)
     {

          $totalNode=$this->dealNode($this->realNode, $this->virtualNode);
          #获取所有虚拟节点
         /* #查看虚拟节点总数
         echo "<pre>";
         print_r($totalNode);
         echo "</pre>";die;
         */
         $hashNode=$this->hash($key);            #key的哈希节点
         foreach ($totalNode as $k => $v)        #循环总结点环查找
          {
              if($k >= $hashNode)                 #查找第一个大于key哈希节点的值
              {
                  echo $v;
                    return $v;                      #返回真实节点 74
              }
          }
             return reset($totalNode); #假若总节点环的值都比key哈希节点小，则返回第一个总哈希环的value值
      }

     /**
     * @desc 返回memcached对象
     *
     * @param $key string | key值
     *
     * @return object
     */
     private function getMemcached($key)
     {
         $node=$this->getNode($key);             #获取真实节点
         echo  $key.'真实节点：'.$node.'<br/>'; #测试使用，查看key的真实节点
         $host=$this->servers[$node]['host'];    #服务器池中某台服务器host
         $port=$this->servers[$node]['port'];    #服务器池中某台服务器port
         $m= new memcache();                    #实例化
         $m->addserver($host, $port);            #添加memcache服务器 94
         return $m;                              #返回memcached对象 95
      }

     /**
     * @desc 设置key-value值
     */
     public function setKey($key, $value)
     {
            $m=$this->getMemcached($key);
            return $m->set($key, $value);
     }

     /**
     * @desc 获取key中的value
      */
     public function getKey($key)
     {
         $m=$this->getMemcached($key);
         return $m->get($key);
     }
 }

$arr=array(
    array('host'=>'192.168.1.23', 'port'=>'11213'),
    array('host'=>'127.0.0.1', 'port'=>'11211'),
    array('host'=>'192.168.1.195', 'port'=>'11212'),
);
$mod=new ConsistentHashMemcache($arr);
$mod->setKey('梅','11111');






<?Php
 #分布式memcache（取模计算）
 class GetModMemcache
 {
     private $total='';          #存储memcache服务器的总数
     private $servers=array();   #存储memcache服务器的具体信息
     /**
         * @desc 构造函数
         *
        * @param $serversArr array | memcache服务器具体信息
      */
     public function __construct($serversArr)
     {
         $this->total=count($serversArr);
         $this->servers=$serversArr;

     }

     /**
         * @desc 计算$key的存储位置（即哪个服务器）
         *
         * @param string | key字符串
         *
         * @return int  返回第几个服务器
         */
     protected function position($key)
     {
                 #使用crc32()，将字符串转化为32为的数字
     echo     sprintf('%u',crc32($key))%$this->total;      #取余29
    return sprintf('%u',crc32($key))%$this->total;      #取余29
      }

     /**
             * @desc 获取memcached对象
             *
             * @param $position int | key的位置信息
             *
             * @return object 返回实例化memcached对象
             */
     protected function getMemcached($position)
     {
         $host=$this->servers[$position]['host'];    #服务器池中某台服务器host
         $port=$this->servers[$position]['port'];    #服务器池中某台服务器port
         $m= new memcache();
         $m->addserver($host, $port);
         return $m;
     }

         /**
             * @desc 设置key-value值
             *
             * @param string | key字符串
             * @param mixed  | 值可以是任何有效的非资源型php类型
             *
             * @return 返回结果
             */
     public function setKey($key, $value)
     {
         $num=$this->position($key);
         $m=$this->getMemcached($num);   #获取memcached对象
         return $m->set($key, $value);
     }

     public function getKey($key)
     {
         $num=$this->position($key);
         $m=$this->getMemcached($num);
         return $m->get($key);
     }


 }


 $arr=array(
     array('host'=>'1.1.1.1', 'port'=>'11213'),
     array('host'=>'2.2.2.2', 'port'=>'11211'),
     array('host'=>'3.3.33', 'port'=>'11212'),
     );
 $mod=new GetModMemcache($arr);


 #存储数据
//$a=$mod->setKey('wang', 'ding',60);
$a=$mod->setKey('xxxx', 'ssssss11111111111111111111111',60);
// echo "<pre>";
// print_r($a);
//
// echo "</pre>";die;


 #获取数据
// $c=$mod->getKey('chen');
// echo "<pre>";
// print_r($c);
// echo "</pre>";die;

 ?>


$arr=array( array('host'=>'111.111.111.111', 'port'=>'11213'), array('host'=>'22.222.222.222', 'port'=>'11211'), array('host'=>'33.333.333.333', 'port'=>'11212'),);$mod=new ConsistentHashMemcache($arr);$mod->setKey('ooooooo','11111');
<?Php
 #分布式memcache（取模计算）
 class GetModMemcache
 {
     private $total='';          #存储memcache服务器的总数
     private $servers=array();   #存储memcache服务器的具体信息
     /**
         * @desc 构造函数
         *
        * @param $serversArr array | memcache服务器具体信息
      */
     public function __construct($serversArr)
     {
         $this->total=count($serversArr);
         $this->servers=$serversArr;

     }

     /**
         * @desc 计算$key的存储位置（即哪个服务器）
         *
         * @param string | key字符串
         *
         * @return int  返回第几个服务器
         */
     protected function position($key)
     {
                 #使用crc32()，将字符串转化为32为的数字
     echo     sprintf('%u',crc32($key))%$this->total;      #取余29
    return sprintf('%u',crc32($key))%$this->total;      #取余29
      }

     /**
             * @desc 获取memcached对象
             *
             * @param $position int | key的位置信息
             *
             * @return object 返回实例化memcached对象
             */
     protected function getMemcached($position)
     {
         $host=$this->servers[$position]['host'];    #服务器池中某台服务器host
         $port=$this->servers[$position]['port'];    #服务器池中某台服务器port
         $m= new memcache();
         $m->addserver($host, $port);
         return $m;
     }

         /**
             * @desc 设置key-value值
             *
             * @param string | key字符串
             * @param mixed  | 值可以是任何有效的非资源型php类型
             *
             * @return 返回结果
             */
     public function setKey($key, $value)
     {
         $num=$this->position($key);
         $m=$this->getMemcached($num);   #获取memcached对象
         return $m->set($key, $value);
     }

     public function getKey($key)
     {
         $num=$this->position($key);
         $m=$this->getMemcached($num);
         return $m->get($key);
     }


 }


 $arr=array(
     array('host'=>'1.1.1.1', 'port'=>'11213'),
     array('host'=>'2.2.2.2', 'port'=>'11211'),
     array('host'=>'5.5.5.5', 'port'=>'11212'),
     );
 $mod=new GetModMemcache($arr);


 #存储数据
//$a=$mod->setKey('wang', 'ding',60);
$a=$mod->setKey('xxxx', 'ssssss11111111111111111111111',60);
// echo "<pre>";
// print_r($a);
//
// echo "</pre>";die;


 #获取数据
// $c=$mod->getKey('chen');
// echo "<pre>";
// print_r($c);
// echo "</pre>";die;

 ?>








                

        

        

    




    

      

        

            

              
                
                  chen782079048
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
php 分库分表hash算法

				
			

			

				

					10-29
				

			

		

		

			
				
分享一个分库分表hash算法，需要的朋友可以参考下。

			
		

	



                

              
                



	

		

			

				
					
php hash结果取模,PHP取模hash和一致性hash操作Memcached分布式集群

				
			

			

				

					weixin_42509105的博客
				

				

					03-10
					
					379
					
				

			

		

		

			
				
1.开启4个Memcached服务模拟集群/usr/local/memcached/bin/memcached -d -p 11211 -u memcached -vv >> /var/log/memcached.11211.log 2>&1/usr/local/memcached/bin/memcached -d -p 11212 -u memcached -vv &g...

			
		

	



                


  
              

                


	

		

			

				
					
php hash结果取模,php数组取模

				
			

			

				

					weixin_42488050的博客
				

				

					03-10
					
					513
					
				

			

		

		

			
				
publicfunctionindexRecomHouse($area){$where=array();$where[‘a.isDel‘]=‘0‘;$where[‘a.status‘]=‘2‘;$where[‘a.auditstatus‘]=‘1‘;//已审核$where[‘a.salestatus‘]=‘0‘;//在售$where[‘a.isRecom‘]=‘Y‘;$...

			
		

	





	

		

			

				
					
hash一致性算法 php,一致性hash原理及php实例

				
			

			

				

					weixin_42467445的博客
				

				

					03-10
					
					219
					
				

			

		

		

			
				
引入在业务开发中，我们常把数据持久化到数据库中。如果需要读取这些数据，除了直接从数据库中读取外，为了减轻数据库的访问压力以及提高访问速度，我们更多地引入缓存来对数据进行存取。读取数据的过程一般为：图1：加入缓存的数据读取过程对于分布式缓存，不同机器上存储不同对象的数据。为了实现这些缓存机器的负载均衡，可以使用式子1来定位对象缓存的存储机器：m = hash(o) mod n ——式子1其中，o为对...

			
		

	



		

			
		



	

		

			

				
					
memcahe.dll

				
			

			

				

					11-01
				

			

		

		

			
				
"memcahe.dll" 是一个动态链接库文件，主要针对Windows 7 64位操作系统。这个文件通常与PHP的Memcached扩展有关，用于在PHP环境中使用Memcached缓存服务。  **描述解析：**  描述指出，这个"memcahe.dll"文件适用于...

			
		

	





	

		

			

				
					
memcahe数据库管理

				
			

			

				

					07-24
				

			

		

		

			
				
使用这样的工具，管理员可以更有效地管理和维护Memcached集群，确保服务的稳定性和性能。在实际应用中，结合Memcached与数据库的合理使用，可以显著提升应用程序的响应速度和用户体验，尤其是在大数据量和高并发的...

			
		

	





	

		

			

				
					
memcahe分析

				
			

			

				

					09-13
				

			

		

		

			
				
各种缓存技术对比，memcache深度分析、使用 及技巧

			
		

	





	

		

			

				
					
memcahe资料及安装程序

				
			

			

				

					12-03
				

			

		

		

			
				
 - **键的设计**：键应尽量简短且具有唯一性，避免过长的键影响哈希计算效率。  - **缓存失效策略**：除了LRU，还可以自定义缓存失效时间，防止旧数据占用空间。  - **负载均衡**：在多台服务器上部署Memcached，...

			
		

	





	

		

			

				
					
java memcahe 客户端 2.6.1

				
			

			

				

					06-29
				

			

		

		

			
				
这次，Memcached Java Client推出的2.6.1发布版是基于全新的performance分支，具有如下重大改进： 较之老版本，在性能上有300%左右的提升； 兼容老版本，用户无须修改自己的源代码； 支持多个memcached协议，包括...

			
		

	





	

		

			

				
					
php Memcached 分表,memcache一致性hash的php实现方法

				
			

			

				

					weixin_35940071的博客
				

				

					03-18
					
					108
					
				

			

		

		

			
				
本文实例讲述了memcache一致性hash的php实现方法。分享给大家供大家参考。具体如下：最近在看一些分布式方面的文章，所以就用php实现一致性hash来练练手，以前一般用的是最原始的hash取模做 分布式，当生产过程中添加或删除一台memcache都会造成数据的全部失效，一致性hash就是为了解决这个问题，把失效数据降到最低，相关资料可以 google一下！php实现效率有一定的缺失，如果要...

			
		

	





	

		

			

				
					
php取模算法的正负

				
			

			

				

					miaodayanzi的专栏
				

				

					12-17
					
					651
					
				

			

		

		

			
				
php中取模算法的正负号跟被除数相同。


<?php
echo(-9%-6) , '' , (9%-6);
?>


输出
-3
3

			
		

	





	

		

			

				
					
分布式中hash取模算法

				
			

			

				

					evsqiezi
				

				

					05-09
					
					2万+
					
				

			

		

		

			
				
常用的算法是对hash结果取余数 (hash() mod N)：对机器编号从0到N-1，按照自定义的hash()算法，对每个请求的hash()值按N取模，得到余数i，然后将请求分发到编号为i的机器。
但这样的算法方法存在致命问题，如果某一台机器宕机，那么应该落在该机器的请求就无法得到正确的处理，这时需要将当掉的服务器从算法从去除，此时候会有(N-1)/N的服务器的缓存数据需要重新进行计算；
为

			
		

	





	

		

			

				
					
hash取模一致性哈希

				
			

			

				

					ITbasketplayer的专栏
				

				

					11-09
					
					1万+
					
				

			

		

		

			
				
取模
最简单的hash算法

targetServer = serverList[hash(key) % serverList.size]

直接用key的hash值（计算key的hash值的方法可以自由选择，比如算法CRC32、MD5,甚至本地hash系统，如java的hashcode）模上server总数来定位目标server。这种算法不仅简单，而且具有不错的随机分布特性。

但

			
		

	





	

		

			

				
					
分布式哈希表和一致性哈希

				
			

			

				

					icycolawater的专栏
				

				

					02-13
					
					2999
					
				

			

		

		

			
				
原文地址：

http://hi.baidu.com/hins_pan/blog/item/8a3c90c50c6990d838db497d.html

分布式哈希(DHT)
两个key point：每个节点只维护一部分路由；每个节点只存储一部分数据。从而实现整个网络中的寻址和存储。
DHT只是一个概念，提出了这样一种网络模型。并且说明它是对分布式存储很有好处的。但具体怎么实现，并不是

			
		

	





	

		

			

				
					
分布式中hash取模算法中的问题

				
			

			

				

					u010412301的博客
				

				

					09-05
					
					3247
					
				

			

		

		

			
				
分布式中hash取模算法中的问题

常用的算法是对hash结果取余数 (hash() mod N)：对机器编号从0到N-1，按照自定义的hash()算法，对每个请求的hash()值按N取模，得到余数i，然后将请求分发到编号为i的机器。


但这样的算法方法存在致命问题，如果某一台机器宕机，那么应该落在该机器的请求就无法得到正确的处理，这时需要将当掉的服务器从算法从去除，此时候会有(N-1

			
		

	





	

		

			

				
					
每天进步一点点——五分钟理解一致性哈希算法(consistent hashing)

					
热门推荐

				
			

			

				

					Cynric 的博客
				

				

					04-11
					
					48万+
					
				

			

		

		

			
				
五分钟让你深入了解分布式系统中常用的一致性哈希算法

			
		

	





	

		

			

				
					
PHP取模hash和一致性hash操作Memcached分布式集群

				
			

			

				

					再现理想
				

				

					04-27
					
					503
					
				

			

		

		

			
				
本篇笔记记录了PHP使用Memcached扩展，采用取模hash和一致性hash算法操作Memcached分布式集群的实现对比

相关笔记：
CentOS6.9源码编译安装memcached
CentOS6.9源码编译安装php-memcached扩展
1.开启4个Memcached服务模拟集群
/usr/local/memcached/bin/memcached -d -p 11211 -u ...

			
		

	





	

		

			

				
					
一致性Hash算法的实现

				
			

			

				

					wangyan9110's Blog
				

				

					04-15
					
					8661
					
				

			

		

		

			
				
一致性hash作为一个负载均衡算法，可以用在分布式缓存、数据库的分库分表等场景中，还可以应用在负载均衡器中作为作为负载均衡算法。在有多台服务器时，对于某个请求资源通过hash算法，映射到某一个台服务器，当增加或减少一台服务器时，可能会改变这些资源对应的hash值，这样可能导致一部分缓存或数据失效了。一致性hash就是尽可能在将同一个资源请求路由到同一台服务器中。本篇文章将模拟实现一个分布式缓存系统来

			
		

	





	

		

			

				
					
一致性哈希算法原理详解

				
			

			

				

					张维鹏的博客
				

				

					10-17
					
					4万+
					
				

			

		

		

			
				
（1）一致性哈希算法将整个哈希值空间按照顺时针方向组织成一个虚拟的圆环，称为 Hash 环；
（2）接着将各个服务器使用 Hash 函数进行哈希，具体可以选择服务器的IP或主机名作为关键字进行哈希，从而确定每台机器在哈希环上的位置；
（3）最后使用算法定位数据访问到相应服务器：将数据key使用相同的函数Hash计算出哈希值，并确定此数据在环上的位置，从此位置沿环顺时针寻找，第一台遇到的服务器就是其应该定位到的服务器

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值