- 博客(109)
- 资源 (68)
- 问答 (3)
- 收藏
- 关注
原创 Memcache 优化建议
memcahed实例启动,根据 -f 和 -n 进行预分配slab。以 -n 为最小值开始,以 -f 为比值生成等比数列,直到1m为止(每个slab的chunk size都要按8的倍数进行补全,比如:如果按比值算是556的话,会再加4到560成为8的整倍数)。然后每个slab分配一个page。当用户发来存储请求时(key,value),memcached会计算key+value的大小,看看属于哪个slab。确定slab后看里面的是否有空闲chunk放key+value,如果不够就再向系统申请一个page(如
2015-03-29 21:33:07 5028
原创 Memcache 监控工具介绍
对于memcached的监控,常用的如memcache的php页面图形监控,通过一些常用的工具也可以对其监控,对于生产运维通常采用Cacti或Nagios进行监控。
2015-03-29 21:31:01 5077
原创 Memcache 高可用集群之memcached-ha
MemcachedHA 包装一种memcached client 使系统达到对memcached的高可用控制,日本人开发的。
2015-03-29 21:30:25 3485
原创 Memcache 高可用集群之magent
Magent 是一款开源的 Memcached 代理服务器软件,使用它可以搭建高可用性的集群应用的 Memcached 服务 ,备份 Memcached 数据,尽管 Memcached 服务挂掉,前端也能获取到数据,客户端先连到 Magent 代理服务器 ,然后Magent 代理服务器 在可以连接多台 Memcached 服务器,然后可以进行数据的保存和备份数据。这样数据就不会丢失,保存了数据完整性。
2015-03-29 21:29:23 4931
原创 Memcache 高可用集群之repcached
repcached是日本人开发的基于Memcached的一个patch版本,实现Memcached的复制功能,它支持多个Memcached之间相互复制,可以解决Memcached的容灾问题。它所构建的主从方案是一个单主单从的方案,不支持多主多从。但是,它的特点是,主从两个节点可以互相读写,从而可以达到互相同步的效果。如果 master坏掉, slave侦测到连接断了,它会自动listen而成为master;而如果 slave坏掉,master也会侦测到连接断,它就会重新listen等待新的slave加入。但
2015-03-29 21:27:39 2387
原创 Memcache 分布式高可用集群介绍
分布式缓存出于如下考虑,首先是缓存本身的水平线性扩展问题,其次是缓存大并发下的本身的性能问题,再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题,包括了内存的分配,管理和回收机制。其次是分布式管理和分布式算法,其次是缓存键值管理和路由。
2015-03-29 21:26:19 2387
原创 Memcache Spring集成
XMemcached 是一个新 java memcached client。下面我们以XMemcached为例,结合spring演示一下其使用。
2015-03-29 21:25:28 2232
原创 Memcache Java 客户端使用
前面我们讲解了memcache的概念及安装,本节我们使用java客户端连接测试,看一下其如何在开发过程中使用。
2015-03-29 21:23:51 3124
原创 Memcache 安装与使用
memcache是高性能,分布式的内存对象缓存系统,用于在动态应用中减少数据库负载,提升访问速度。为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自动删除不使用的缓存。
2015-03-29 21:23:17 1865 1
原创 Memcache 介绍与应用场景
Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度(即用于在动态应用中减少数据库负载,提升访问速度)。
2015-03-29 21:21:40 2947
原创 MongoDB log4j 日志整合,统一管理
在分布式系统当中,这些服务可能分别部署在不同的服务器上,并且有各自的日志输出。为了方便对这些日志进行统一管理和分析。我们可以将日志统一输出到指定的数据库系统中,而再由日志分析系统去管理。而这个储存日志的数据库目前最适合的还是mongodb,一是因为它轻便、简单,与log4j整合方便,对系统的侵入性低。二是因为它与大型的关系型数据库相比有不少优势,比如查询快速、储存结构(json)利于扩展、免费等
2015-03-21 20:16:57 3476
原创 MongoDB3.0介绍
MongoDB 3.0 版本标志着 MongoDB 数据库进入了一个全新的发展阶段,提供强大、灵活而且易于管理的数据库管理系统。此版本在性能和伸缩性方面都有非常巨大的提升,通过在存储层的大幅改进实现。内建 WiredTiger存储引擎,这是一项难以置信的技术实现,提供无门闩、非堵塞算法来利用先进的硬件平台(如大容量芯片缓存和线程化架构)来提升性能。通过 WiredTiger ,MongoDB 3.0 实现了文档级别的并发控制,因此大幅提升了大并发下的写负载。透明的磁盘压缩技术减少对存储的容量要求达 80%。
2015-03-21 20:15:38 2155
原创 MongoDB 图形管理工具介绍
MongoDB也有像类似于PL/SQL一样的界面操作工具操作MongoDB。下面就来介绍几款不同的界面工具。
2015-03-21 20:11:53 4589 1
原创 MongoDB 监控备份工具MMS
MongoDB的管理服务(MMS)是用于监控和备份MongoDB的基础设施服务。其中监控的服务是免费的,备份的服务是需要收费的。并提供了手机版,可以在google play商城上下载,名字叫做MongoDB Management Service(MMS)。
2015-03-21 14:30:27 5433
原创 MongoDB nagios check_mongodb插件监控
当在生产环境下使用某种服务时,相应的监控措施也应当完善起来,来检测服务是否正常和获取相关信息是很有必要的。
2015-03-21 14:20:33 1649
原创 MongoDB mongostat、mongotop和实时监控工具motop
MongoDB自带了mongostat 和 mongotop 这两个命令来监控MongoDB的运行情况。这两个命令对于我们处理MongoDB数据库变慢等等问题非常有用,能详细的统计MongoDB当前的状态信息。除此之外,还可以用db.serverStatus()、db.stats()、开启profile功能通过查看日志进行监控分析。
2015-03-21 12:29:07 10386
原创 MongoDB 清理数据
删除mongodb集合中的数据可以使用remove()函数。remove()函数可以接受一个查询文档作为可选参数来有选择性的删除符合条件的文档。remove()函数不会删除集合本身,同时,原有的索引也同样不会被删除。
2015-03-21 12:20:43 31578
原创 MongoDB 日志管理
MongoDB默认情况下不会自动的切换轮转日志的,这将会导致日志日渐增大,在繁忙的业务下,日志增长量非常大的。如此之大的日志文件,查看某天的日志也不太方便。如是,需要对mongodb 日志文件进行切换,保留7天。
2015-03-21 12:17:54 4281
原创 MongoDB 备份恢复工具mongobackup
mongobackup 是用于复制集的增量备份与恢复工具,恢复时,需要结合全量备份与恢复使用。
2015-03-21 12:13:02 5103
原创 MongoDB 备份与还原
mongodb数据备份和还原主要分为二种,一种是针对于库的mongodump和mongorestore,一种是针对库中表的mongoexport和mongoimport,上一节我们已经介绍过。
2015-03-21 12:04:47 5950 1
原创 MongoDB oplog剖析
MongoDB 的Replication是通过一个日志来存储写操作的,这个日志就叫做oplog。journal是Mongodb中的redo log,而Oplog则是负责复制的binlog(对应Mysql)。在默认情况下,oplog分配的是5%的空闲磁盘空间。通常而言,这是一种合理的设置。可以通过mongod –oplogSize来改变oplog的日志大小。Oplog和数据刷新到磁盘的时间是60s,
2015-03-21 11:26:01 8952
原创 MongoDB journal介绍
Mongodb在1.8版本之后开始支持journal,就是我们常说的redo log,用于故障恢复和持久化。 一、启动 启动journal功能使用mongod --journal选项,也可以关闭--nojournal,在2.0之后的版本,journal都是默认打开的,以确保数据安全。在version 二、文件、恢复和备份 journal存放在数据文件的/journal/文件夹下,运行时的文件一般是
2015-03-21 11:20:25 3072
原创 MongoDB 让secondary支持读操作
对于replica set 中的secondary 节点默认是不可读的。在写多读少的应用中,使用Replica Sets来实现读写分离。通过在连接时指定或者在主库指定slaveOk,由Secondary来分担读的压力,Primary只承担写操作。
2015-03-19 21:44:34 6224 1
原创 MongoDB 性能优化之常用技巧
MongoDB 性能优化之常用技巧。转至:http://blog.csdn.net/sd0902/article/details/16119709
2015-03-19 21:42:16 1958
原创 MongoDB 性能优化之分页查询
最常见的分页采用的是skip+limit这种组合方式,这种方式对付小数据倒也可以,但是对付上几百上千万的大数据,只能力不从心。通过如下思路改善,可以大大提高查询速度:条件查询+排序+限制返回记录。边查询,边排序,排序之后,抽取第一次分页中的最后一条记录,作为第二次分页的条件,进行条件查询,以此类推....
2015-03-19 21:39:39 19996 1
原创 MongoDB 性能优化之索引优化
索引是用来加快查询速度的,事物都有双面性的,同时在每次插入、更新和删除操作时都会产生额外的开销。索引有时并不能解决查询慢的问题,一般来说,返回集合中一半以上的结果,全表扫描要比查询索引更高效些。创建太多索引,会导致插入非常慢,同时还会占用很大空间。可以通过一些工具来分析查询的效率来进一步优化索引。
2015-03-19 21:39:25 8265
原创 MongoDB 索引之全文索引
mongodb full text search(fts:全文搜素)是在版本2.4新加的特性。在以前的版本,是通过精确匹配和正则表达式来查询,这效率是很低的。全文索引,能够从大量的文本中搜索出所需的内容,内置多国语言和分词方法。不支持宇宙第一语言—中文。全文索引会导致mongodb写入性能下降,因为所有字符串都要拆分,存储到不同地方。
2015-03-19 21:34:07 8856 4
原创 MongoDB 索引之介绍与使用
MongoDB中的索引其实类似于关系型数据库,都是为了提高查询和排序的效率的,并且实现原理也基本一致,大部分优化MySQL索引的技巧也同样适用于mongodb。由于集合中的键(字段)可以是普通数据类型,也可以是子文档。MongoDB可以在各种类型的键上创建索引。索引是对数据库表中一列或多列的值进行排序的一种特殊的数据结构,存储在一个易于遍历读取的数据集合中。当查询中用到某些条件时,可以对该键建立索引,能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询
2015-03-19 21:07:42 2068
原创 MongoDB Capped Collection
capped collections 是性能出色的有着固定大小的集合,以LRU(Least Recently Used 最近最少使用)规则和插入顺序进行age-out(老化移出)处理,自动维护集合中对象的插入顺序,在创建时要预先指定大小。如果空间用完,新添加的对象将会取代集合中最旧的对象
2015-03-18 21:29:30 1937
原创 MongoDB MapReduce使用
MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务,分配到多服务器上并行处理。
2015-03-18 21:19:41 849
thrift-spring-http代码实例
2015-03-02
spring-httpinvoker-demo
2015-03-02
comet4j-demo
2015-02-26
olingo实例代码
2015-02-02
Postman-REST-Client_v0.8.1
2015-02-02
PhpMQTTClient
2015-01-19
AndroidPushNotificationsDemo
2015-01-19
rsmb安装包
2015-01-19
haproxy-1.5.8.tar.g
2014-11-14
RocketMQ安装包
2014-11-09
linux文件共享服务汇总
2014-03-14
Android adb命令使用详解
2014-03-07
Hive用户指南(Hive_user_guide)_中文版
2015-10-08
PowerMock实战手册
2015-06-03
基于xmpp_openfire_smack开发之smack类库介绍和使用
2015-06-01
FastDFS安装软件包
2015-05-27
分布式文件系统fastdfs架构剖析及配置优化
2015-05-27
fastdfs 5.01 + nginx + cache 集群安装配置手册
2015-05-27
dlz-dns-web
2015-04-23
dlz-dns-etc
2015-04-23
使用bind构建高可用智能dns服务器
2015-04-19
spring-data-redis-demo
2015-04-07
thrift-zookeeper-rpc
2015-03-08
protobuf-demo
2015-03-05
burlap-spring-demo
2015-03-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人