NoSql
文章平均质量分 91
mojolang
精品驿站
展开
-
mongodb集群架构
一、概述分片是一种在多台机器上分配数据的方法。MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作。有两种解决系统增长的方法:垂直扩展和水平扩展。垂直扩展涉及增加单个服务器的容量,例如使用更强大的CPU,增加更多RAM或增加存储空间量等。介于硬件成本和硬件性能单机器能支持的并发访问和存储容量是有限的。因此,垂直扩展是存在最大上限的。水平扩展包括将系统数据集和负载分配到多个服务器...转载 2020-03-09 17:26:43 · 1197 阅读 · 0 评论 -
magent + memcached 集群测试
1、编译安装libevent:wget http://monkey.org/~provos/libevent-1.4.9-stable.tar.gztar zxvf libevent-1.4.9-stable.tar.gzcd libevent-1.4.9-stable/./configure --prefix=/usrmake && make installcd ..转载 2017-02-24 15:50:27 · 416 阅读 · 0 评论 -
python---Memcached
MemcachedMemcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。Memc转载 2017-01-01 01:57:13 · 843 阅读 · 0 评论 -
Python-memcached的基本使用
1.memcached的安装请参考本博另一文章《Linux下安装memcached》启动一个memcached实例:memcached -m 10 -p 120002.Python-memcached安装到ftp://ftp.tummy.com/pub/python-memcached/下载最新版本的API,并解压tar包输入python setup.py转载 2016-12-31 14:03:14 · 1119 阅读 · 0 评论 -
memcached shell 常用命令及使用说明
memcached 查看方法格式: telnet ip port例如 telnet localhost 11211退出命令:quit一.存储命令存储命令格式:[plain] view plain copy 参数说明:comma转载 2016-12-31 14:01:51 · 1190 阅读 · 0 评论 -
Linux安装telnet
上篇已经讲述了memcached的安装,现在要测试Memcached功能的时候,需要使用到telnet服务.于是就有了本篇。 一、安装telnet1、检测telnet-server的rpm包是否安装 [root@localhost ~]# rpm -qa telnet-server 若无输入内容,则表示没有安装。出于安全考虑telnet-server.rpm是默认没转载 2016-12-28 20:54:16 · 533 阅读 · 0 评论 -
memcached 常用命令及使用说明
1、启动Memcache 常用参数-p 设置TCP端口号(默认设置为: 11211)-U UDP监听端口(默认: 11211, 0 时关闭) -l 绑定地址(默认:所有都允许,无论内外网或者本机更换IP,有安全隐患,若设置为127.0.0.1就只能本机访问)-c max simultaneous connections (default: 1转载 2016-12-28 20:37:39 · 672 阅读 · 0 评论 -
Memcached 集群的高可用(HA)架构
Memcache自身并没有实现集群功能,如果想用Memcahce实现集群需要借助第三方软件或者自己设计编程实现,这里将采用memagent代理实现,memagent又名magent,大家注意下,不要将这二者当成两种工具。至于memcache、magent的安装请参考文章 在Linux上安装Memcached服务 和 magent编译安装及常见错误 整体架构直接上图转载 2016-12-28 20:28:01 · 423 阅读 · 0 评论 -
magent + memcached 集群测试
1、编译安装libevent:wget http://monkey.org/~provos/libevent-1.4.9-stable.tar.gztar zxvf libevent-1.4.9-stable.tar.gzcd libevent-1.4.9-stable/./configure --prefix=/usrmake && make installcd ../转载 2016-12-28 20:27:21 · 2499 阅读 · 0 评论 -
利用magent搭建memcached集群
memcached虽然能够通过分布式缓存,实现其中memcached宕掉不会丢失全部缓存数据,但部分数据还是难逃一劫。我们可以利用magent代理memcached实现主从备份来保证缓存数据完好无损,而且magent还可以作为从继续使用,但大体工作原理如下:1.magent每次写数据都会写到主memcached和从memcached上,并且向主从memcached写的算法一样;转载 2016-12-28 20:24:07 · 546 阅读 · 0 评论 -
memcached+magent实现memcached集群
首先说明下memcached存在如下问题 本身没有内置分布式功能,无法实现使用多台Memcache服务器来存储不同的数据,最大程度的使用相同的资源;无法同步数据,容易造成单点故障。(memagent代理实现集群) 在 Memcached中可以保存的item数据量是没有限制的,只要内存足够 。 Memcached单进程最大使用内存为2G,要使用更多内存,可以分多个端转载 2016-12-14 16:37:19 · 566 阅读 · 0 评论 -
Java通过SpyMemcached来缓存数据
配置好Magent+memcached后,很明显数据之间的输入与输出都是通过代理服务器的,magent是做代理服务器的很明显java在memecached的调用驱动在magent同样适用.这里选择SpyMemcached来缓存数据.1.定义一个User 注意:类型必须序列化123456转载 2016-12-12 11:28:31 · 1156 阅读 · 0 评论 -
使用magent搭建memcached集群
一、下载magent下载地址:http://pan.baidu.com/s/1eRygtEUmkdir -p /usr/local/magentcd magenttar -xvf magent-0.5.tar.gz二、安装magentcd magent/sbin/ldconfigsed -i "s#LIBS =转载 2016-12-12 11:26:34 · 459 阅读 · 0 评论 -
Memcached集群/分布式/高可用 及 Magent缓存代理搭建过程 详解
当网站访问量达到一定时,如何做Memcached集群,又如何高可用,是接下来要讨论的问题。有这么一段文字来描述“Memcached集群”Memcached如何处理容错的?不处理!:) 在memcached节点失效的情况下,集群没有必要做任何容错处理。如果发生了节点失效,应对的措施完全取决于用户。节点失效时,下面列出几种方案供您选择:* 忽略它! 在失效节点被恢复转载 2016-02-29 22:26:11 · 2699 阅读 · 0 评论 -
memcached error while loading shared libraries: libevent-2.0.so.5
今天安装memcache启动服务时出现 error while loading shared libraries: libevent-2.0.so.5: cannot open shared object file: No such file or directory>whereis libevent-2.0.so.5libevent-2.0.so.5: /usr/loca转载 2016-02-29 21:50:19 · 618 阅读 · 0 评论 -
3.redis内存占用飙升
一、现象: redis-cluster某个分片内存飙升,明显比其他分片高很多,而且持续增长。并且主从的内存使用量并不一致。 二、分析可能原因: 1. redis-cluster的bug (这个应该不存在) 2. 客户端的hash(key)有问题,造成分配不均。(redis使用的是crc16, 不会出现这么不均的情况) 3. 存在个别大的key-value: 例如一个转载 2016-03-12 21:39:05 · 7791 阅读 · 1 评论 -
Redis性能问题排查解决手册(七)
阅读目录:性能相关的数据指标内存使用率used_memory命令处理总数total_commands_processed延迟时间内存碎片率回收key总结性能相关的数据指标通过Redis-cli命令行界面访问到Redis服务器,然后使用info命令获取所有与Redis服务相关的信息。通过这些信息来分析文章后面提到的一些性能指标。info命令输出的数据可分为10个类别,转载 2017-02-14 19:49:27 · 617 阅读 · 0 评论 -
redis cluster管理工具redis-trib.rb详解
redis-trib.rb是redis的官方推出的管理redis集群的工具,集成在redis的源码src目录下,是基于redis提供的集群命令封装成简单,便捷,实用的操作工具.redis-trib.rb是redis作者用ruby完成的。为了看懂redis-trib.rb,我特意花了一个星期学习了ruby,也被ruby的简洁,明了所吸引.ruby是门非常灵活的语言,redis-trib.rb只用本文转载 2017-02-24 15:10:27 · 4619 阅读 · 1 评论 -
Redis集群 cluster-slot操作指令
通过redis-cli 登录连接到redis-server,然后执行一下cluster命令进行操作一,redis cluster命令行 //集群(cluster) CLUSTER INFO 打印集群的信息 CLUSTER NODES 列出集群当前已知的所有节点(node),以及这些节点的相关信息。 //节点(node) CLUSTER MEE转载 2017-03-08 11:03:26 · 13013 阅读 · 0 评论 -
Redis Cluster 3.0.5 集群实战
一、说明redis 3.0 集群功能出来已经有一段时间了,目前最新稳定版是3.0.5,我了解到已经有很多互联网公司在生产环境使用,比如唯品会、美团等等,刚好公司有个新项目,预估的量单机redis无法满足,开发又不想在代码层面做拆分,所以就推荐他们尝试一下redis集群,下面做了一些相关笔记,以备后用。二、环境1、redis节点转载 2017-03-07 18:36:34 · 462 阅读 · 0 评论 -
Redis主从在线互相切换
转发文章,结合该文章,写个shell脚本,完全可以实现在线互相切换。由于某些原因,我们可能需要将redis master更换机器,我们可以停机进行更换,但是那样可能影响到用户体验。本文简要操作进行不停机迁移。 系统环境CentOS 6.3 x64redis-server 2.6.16机器两台s1\s2操作步骤1我们在新redis服务器上,转载 2017-03-07 18:41:42 · 609 阅读 · 0 评论 -
10亿级流数据交互查询,为什么抛弃MySQL选择VoltDB?
大数据时代,随着数据量的爆炸式增长,对于数据的处理速度要求也越来越高,以往基于MySQL的数据处理方案已无法满足大吞吐、低延迟的写入和高速查询的场景;百分点总结出了一套完整的解决方案,本文就带你一同了解VoltDB在流数据交互查询的应用实践。流式数据交互查询场景在百分点,每天有10亿条记录产生,针对这些大量实时产生的数据,不仅要做到实时写入,类似推荐调优、数据验证等查询要在秒级响应转载 2017-04-26 10:35:57 · 2220 阅读 · 0 评论 -
谈谈redis主从复制的重点
Redis主从复制的配置十分简单,它可以使从服务器是主服务器的完全拷贝。下面是关于Redis主从复制的几点重要内容:Redis使用异步复制。但从Redis 2.8开始,从服务器会周期性的应答从复制流中处理的数据量。一个主服务器可以有多个从服务器。从服务器也可以接受其他从服务器的连接。除了多个从服务器连接到一个主服务器之外,多个从服务器也可以连接到一个从服务器上,形成一个图状结构Redi转载 2017-03-01 23:05:36 · 476 阅读 · 0 评论 -
Redis Sentinel 机制与用法
概述Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentinel本身也是一个独立运行的进程,它能监控多个master-slave集群,发现master宕机后能进行自懂切换, 被集成在redis2.4转载 2017-03-01 23:16:52 · 575 阅读 · 0 评论 -
Sentinel-Redis高可用方案(一):主从复制
引言大概是因为Redis是个人开发的产品,所以Redis的高可用方案是被分成了几块来实现:主从复制、主从切换以及虚拟IP或客户端方案。从Redis 2.8开始加入对Sentinel机制从而实现了服务器端的主从切换,但目前尚未发现实现虚拟IP或客户端切换方案。主从复制研究wget http://download.redis.io/releases/redis-2.8.转载 2017-02-28 15:23:43 · 390 阅读 · 0 评论 -
MongoDB 3.2配置文件directoryPerDB参数,无法重启
MongoDB3.2 使用过一段时间之后,忽然想要搭建一个集群,需要配置下directoryPerDB参数,于是在mongod.conf配置文件storage下加入:原创 2016-11-16 21:58:24 · 4727 阅读 · 0 评论 -
Redis-benchmark测试Redis性能
Redis-benchmark是官方自带的Redis性能测试工具,可以有效的测试Redis服务的性能。使用说明如下:Usage: redis-benchmark [-h ] [-p ] [-c ] [-n [-k ] -h Server hostname (default 127.0.0.1) -p Server port (defaul转载 2016-03-12 21:58:27 · 1911 阅读 · 0 评论 -
Redis命令说明
第一步肯定是安装了。安装前先说下版本规则,Redis约定次版本号(第一个小数点后的数字)为偶数是稳定版,为奇数是非稳定版,这里推荐使用稳定版学习、开发以及生产环境。1、在POSIX系统中安装Redis兼容大部分POSIX系统,Linux、OS X、BSD等,推荐使用源码编译安装。http://redis.io/download 在这里下载Stable版本。在Linux系统中转载 2016-03-12 21:57:23 · 811 阅读 · 0 评论 -
5.redis cluster遇到的一些问题
由于演讲时间有限,有关Redis-Cluster,演讲者没做太多介绍,简单的介绍了一些Redis-Cluster概念作用和遇到的两个问题,我们在Redis-Cluster也有很多运维经验,将来的文章会介绍。 但是讲演者反复强调,不要听信网上对于Redis-Cluster的毁谤(实践出真知),对于这一点我很赞同,我们从Redis-Cluster beta版 RC1~4 到现在的3.0转载 2016-03-12 21:42:44 · 1900 阅读 · 0 评论 -
4.redis内存使用优化
一、背景: 选择合适的使用场景 很多时候Redis被误解并乱用了,造成的Redis印象:耗内存、价格成本很高: 1. 为了“赶时髦”或者对于Mysql的“误解”在一个并发量很低的系统使用Redis,将原来放在Mysql数据全部放在Redis中。 ----(Redis比较适用于高并发系统,如果是一些复杂Mis系统,用Redis反而麻烦,因为单从功能讲Mysql要更为强大,转载 2016-03-12 21:40:53 · 768 阅读 · 0 评论 -
2.bgrewriteaof问题
一、背景1. AOF: Redis的AOF机制有点类似于Mysql binlog,是Redis的提供的一种持久化方式(另一种是RDB),它会将所有的写命令按照一定频率(no, always, every seconds)写入到日志文件中,当Redis停机重启后恢复数据库。 2. AOF重写: (1) 随着AOF文件越来越大,里转载 2016-03-12 21:37:41 · 1087 阅读 · 0 评论 -
1.客户端周期性出现connect timeout
1. 背景: 大部分互联网公司都会有Mysql或者Oracle的DBA,但是在Nosql方面一般不会设置专门的DBA。不过对于一些知名的互联网公司来说,Nosql的使用量是巨大的,所以通常让Mysql的DBA或者单独聘请工程师来维护一些Nosql数据库,比如: Redis, Hbase, Memcache(其实严格讲不是nosql), Mongodb, Cassandr转载 2016-03-12 21:36:16 · 3834 阅读 · 0 评论 -
有关linux下redis overcommit_memory的问题
背景 公司的redis有时background save db不成功,通过log发现下面的告警,很可能由它引起的:[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix thi转载 2016-03-12 21:30:15 · 540 阅读 · 0 评论 -
redis集群
准备工作:首先必须安装redis,安装完后,安装如下内容: sudo yum install ruby sudo yum install rubygem yum install -y ruby-devel ruby-docs ruby-ri ruby-rdoc yum install -y rubygems gem install redis创建集群需要的目原创 2016-02-16 13:59:49 · 1871 阅读 · 0 评论 -
Mongodb集群搭建的三种方式
MongoDB是时下流行的NoSql数据库,它的存储方式是文档式存储,并不是Key-Value形式。关于Mongodb的特点,这里就不多介绍了,大家可以去看看官方说明:http://docs.mongodb.org/manual/ 今天主要来说说Mongodb的三种集群方式的搭建:Replica Set / Sharding / Master-Slaver。这里只说转载 2016-11-16 22:18:15 · 674 阅读 · 0 评论 -
[ERR] Not all 16384 slots are covered by nodes.
早些时间公司Redis集群环境的某台机子冗机了,同时还导致了部分slot数据分片丢失;在用check检查集群运行状态时,遇到错误;[root@node01 src]# ./redis-trib.rb check172.168.63.202:7000Connecting to node 172.168.63.202:7000: OKConnecti转载 2016-11-14 21:00:36 · 3967 阅读 · 0 评论 -
Redis的Keyspace notifications功能初探
最近在做一套系统,其中要求若干个Worker服务器将心跳信息都上报给中央服务器。当一定时间中央服务器没有得到心跳信息时则认为该Worker失效了,发出告警。满足这种需求的解决方法多种多样,我开始想到了memcache,上报一次心跳信息就刷新一次缓存,当缓存内心跳信息对象超时被删除,即认为对应的Worker失效。然而由于memcache的工作原理,删除都是被动的,我们无法及时判断转载 2016-12-15 16:31:49 · 890 阅读 · 0 评论 -
在shell下批量管理redis数据
redis下key的批量管理,熟悉后管理redis得心应手!原创 2016-02-02 14:48:51 · 6082 阅读 · 0 评论 -
redis集群节点新增、删除、重新分配slot实战
1、搭建好Redis集群参考我的博文 http://blog.csdn.NET/nuli888/article/details/52134117下面操作都在同台机子server1 192.168.1.198上操作2、查看现有节点[root@localhost ~]# cd /usr/local/redis-3.0.6/src/[root@localhost src]# re转载 2016-11-21 17:45:49 · 6427 阅读 · 2 评论 -
[ERR] Not all 16384 slots are covered by nodes.
早些时间公司Redis集群环境的某台机子冗机了,同时还导致了部分slot数据分片丢失;在用check检查集群运行状态时,遇到错误;[root@node01 src]# ./redis-trib.rb check172.168.63.202:7000Connecting to node 172.168.63.202:7000: OKConnecti转载 2016-11-21 17:45:04 · 5626 阅读 · 0 评论