自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

任何技能都是从模仿开始,逐步升华。

好的架构是进化而来的,好的产品是推广而来的。

  • 博客(109)
  • 资源 (68)
  • 问答 (3)
  • 收藏
  • 关注

原创 Memcache 服务管理脚本

自定义脚本将memcached作为系统服务启动以及开机启动......

2015-03-29 21:33:40 1383

原创 Memcache 优化建议

memcahed实例启动,根据 -f 和 -n 进行预分配slab。以 -n 为最小值开始,以 -f 为比值生成等比数列,直到1m为止(每个slab的chunk size都要按8的倍数进行补全,比如:如果按比值算是556的话,会再加4到560成为8的整倍数)。然后每个slab分配一个page。当用户发来存储请求时(key,value),memcached会计算key+value的大小,看看属于哪个slab。确定slab后看里面的是否有空闲chunk放key+value,如果不够就再向系统申请一个page(如

2015-03-29 21:33:07 5025

原创 Memcache 监控工具介绍

对于memcached的监控,常用的如memcache的php页面图形监控,通过一些常用的工具也可以对其监控,对于生产运维通常采用Cacti或Nagios进行监控。

2015-03-29 21:31:01 5075

原创 Memcache 高可用集群之memcached-ha

MemcachedHA 包装一种memcached client 使系统达到对memcached的高可用控制,日本人开发的。

2015-03-29 21:30:25 3483

原创 Memcache 高可用集群之magent

Magent 是一款开源的 Memcached 代理服务器软件,使用它可以搭建高可用性的集群应用的 Memcached 服务 ,备份 Memcached 数据,尽管 Memcached 服务挂掉,前端也能获取到数据,客户端先连到 Magent 代理服务器 ,然后Magent 代理服务器 在可以连接多台 Memcached 服务器,然后可以进行数据的保存和备份数据。这样数据就不会丢失,保存了数据完整性。

2015-03-29 21:29:23 4928

原创 Memcache 高可用集群之repcached

repcached是日本人开发的基于Memcached的一个patch版本,实现Memcached的复制功能,它支持多个Memcached之间相互复制,可以解决Memcached的容灾问题。它所构建的主从方案是一个单主单从的方案,不支持多主多从。但是,它的特点是,主从两个节点可以互相读写,从而可以达到互相同步的效果。如果 master坏掉, slave侦测到连接断了,它会自动listen而成为master;而如果 slave坏掉,master也会侦测到连接断,它就会重新listen等待新的slave加入。但

2015-03-29 21:27:39 2386

原创 Memcache 分布式高可用集群介绍

分布式缓存出于如下考虑,首先是缓存本身的水平线性扩展问题,其次是缓存大并发下的本身的性能问题,再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题,包括了内存的分配,管理和回收机制。其次是分布式管理和分布式算法,其次是缓存键值管理和路由。

2015-03-29 21:26:19 2385

原创 Memcache Spring集成

XMemcached 是一个新 java memcached client。下面我们以XMemcached为例,结合spring演示一下其使用。

2015-03-29 21:25:28 2230

原创 Memcache CAS协议介绍及使用

所谓CAS,check and set,在写操作时,先检查是否被别的线程修改过。

2015-03-29 21:24:38 2346

原创 Memcache Java 客户端使用

前面我们讲解了memcache的概念及安装,本节我们使用java客户端连接测试,看一下其如何在开发过程中使用。

2015-03-29 21:23:51 3122

原创 Memcache 安装与使用

memcache是高性能,分布式的内存对象缓存系统,用于在动态应用中减少数据库负载,提升访问速度。为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自动删除不使用的缓存。

2015-03-29 21:23:17 1862 1

原创 Memcache 介绍与应用场景

Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度(即用于在动态应用中减少数据库负载,提升访问速度)。

2015-03-29 21:21:40 2946

原创 java实现生成缩略图

有时候我们为了让用户快速预览所有图片,在上传图片时同时生产缩略图。java可以使用Graphics2D绘制出缩略图。

2015-03-26 21:06:20 4857

原创 MongoDB log4j 日志整合,统一管理

在分布式系统当中,这些服务可能分别部署在不同的服务器上,并且有各自的日志输出。为了方便对这些日志进行统一管理和分析。我们可以将日志统一输出到指定的数据库系统中,而再由日志分析系统去管理。而这个储存日志的数据库目前最适合的还是mongodb,一是因为它轻便、简单,与log4j整合方便,对系统的侵入性低。二是因为它与大型的关系型数据库相比有不少优势,比如查询快速、储存结构(json)利于扩展、免费等

2015-03-21 20:16:57 3474

原创 MongoDB3.0介绍

MongoDB 3.0 版本标志着 MongoDB 数据库进入了一个全新的发展阶段,提供强大、灵活而且易于管理的数据库管理系统。此版本在性能和伸缩性方面都有非常巨大的提升,通过在存储层的大幅改进实现。内建 WiredTiger存储引擎,这是一项难以置信的技术实现,提供无门闩、非堵塞算法来利用先进的硬件平台(如大容量芯片缓存和线程化架构)来提升性能。通过 WiredTiger ,MongoDB 3.0 实现了文档级别的并发控制,因此大幅提升了大并发下的写负载。透明的磁盘压缩技术减少对存储的容量要求达 80%。

2015-03-21 20:15:38 2150

原创 MongoDB 图形管理工具介绍

MongoDB也有像类似于PL/SQL一样的界面操作工具操作MongoDB。下面就来介绍几款不同的界面工具。

2015-03-21 20:11:53 4588 1

原创 MongoDB 运维管理

MongoDB在bin目录下提供了一系列有用的工具,可以很方便的进行运维管理。

2015-03-21 19:15:35 2905

原创 MongoDB 监控备份工具MMS

MongoDB的管理服务(MMS)是用于监控和备份MongoDB的基础设施服务。其中监控的服务是免费的,备份的服务是需要收费的。并提供了手机版,可以在google play商城上下载,名字叫做MongoDB Management Service(MMS)。

2015-03-21 14:30:27 5431

原创 MongoDB nagios check_mongodb插件监控

当在生产环境下使用某种服务时,相应的监控措施也应当完善起来,来检测服务是否正常和获取相关信息是很有必要的。

2015-03-21 14:20:33 1648

原创 MongoDB mongostat、mongotop和实时监控工具motop

MongoDB自带了mongostat 和 mongotop 这两个命令来监控MongoDB的运行情况。这两个命令对于我们处理MongoDB数据库变慢等等问题非常有用,能详细的统计MongoDB当前的状态信息。除此之外,还可以用db.serverStatus()、db.stats()、开启profile功能通过查看日志进行监控分析。

2015-03-21 12:29:07 10378

原创 MongoDB 清理数据

删除mongodb集合中的数据可以使用remove()函数。remove()函数可以接受一个查询文档作为可选参数来有选择性的删除符合条件的文档。remove()函数不会删除集合本身,同时,原有的索引也同样不会被删除。

2015-03-21 12:20:43 31536

原创 MongoDB 日志管理

MongoDB默认情况下不会自动的切换轮转日志的,这将会导致日志日渐增大,在繁忙的业务下,日志增长量非常大的。如此之大的日志文件,查看某天的日志也不太方便。如是,需要对mongodb 日志文件进行切换,保留7天。

2015-03-21 12:17:54 4280

原创 MongoDB 备份恢复工具mongobackup

mongobackup 是用于复制集的增量备份与恢复工具,恢复时,需要结合全量备份与恢复使用。

2015-03-21 12:13:02 5100

原创 MongoDB 备份脚本

适用于mongodb任何架构(standalon、replic set、sharding)备份脚本。

2015-03-21 12:10:18 1166

原创 MongoDB 备份与还原

mongodb数据备份和还原主要分为二种,一种是针对于库的mongodump和mongorestore,一种是针对库中表的mongoexport和mongoimport,上一节我们已经介绍过。

2015-03-21 12:04:47 5946 1

原创 MongoDB 导入与导出

mongodb自带导入导出命令:mongoexport和mongoimport

2015-03-21 11:35:36 1204

原创 MongoDB oplog剖析

MongoDB 的Replication是通过一个日志来存储写操作的,这个日志就叫做oplog。journal是Mongodb中的redo log,而Oplog则是负责复制的binlog(对应Mysql)。在默认情况下,oplog分配的是5%的空闲磁盘空间。通常而言,这是一种合理的设置。可以通过mongod –oplogSize来改变oplog的日志大小。Oplog和数据刷新到磁盘的时间是60s,

2015-03-21 11:26:01 8947

原创 MongoDB journal介绍

Mongodb在1.8版本之后开始支持journal,就是我们常说的redo log,用于故障恢复和持久化。 一、启动 启动journal功能使用mongod --journal选项,也可以关闭--nojournal,在2.0之后的版本,journal都是默认打开的,以确保数据安全。在version 二、文件、恢复和备份 journal存放在数据文件的/journal/文件夹下,运行时的文件一般是

2015-03-21 11:20:25 3069

原创 MongoDB 让secondary支持读操作

对于replica set 中的secondary 节点默认是不可读的。在写多读少的应用中,使用Replica Sets来实现读写分离。通过在连接时指定或者在主库指定slaveOk,由Secondary来分担读的压力,Primary只承担写操作。

2015-03-19 21:44:34 6218 1

原创 MongoDB 性能优化之常用技巧

MongoDB 性能优化之常用技巧。转至:http://blog.csdn.net/sd0902/article/details/16119709

2015-03-19 21:42:16 1953

原创 MongoDB 性能优化之分页查询

最常见的分页采用的是skip+limit这种组合方式,这种方式对付小数据倒也可以,但是对付上几百上千万的大数据,只能力不从心。通过如下思路改善,可以大大提高查询速度:条件查询+排序+限制返回记录。边查询,边排序,排序之后,抽取第一次分页中的最后一条记录,作为第二次分页的条件,进行条件查询,以此类推....

2015-03-19 21:39:39 19991 1

原创 MongoDB 性能优化之索引优化

索引是用来加快查询速度的,事物都有双面性的,同时在每次插入、更新和删除操作时都会产生额外的开销。索引有时并不能解决查询慢的问题,一般来说,返回集合中一半以上的结果,全表扫描要比查询索引更高效些。创建太多索引,会导致插入非常慢,同时还会占用很大空间。可以通过一些工具来分析查询的效率来进一步优化索引。

2015-03-19 21:39:25 8259

原创 MongoDB 提高安全技巧

MongoDB提供了一系列组件来提升数据的安全性。使用下面几条可以用来改善MongoDB服务器安全性。

2015-03-19 21:36:28 942

原创 MongoDB 安全介绍

MongoDB 安全介绍:权限、角色及用户授权......

2015-03-19 21:35:13 823

原创 MongoDB 索引之全文索引

mongodb full text search(fts:全文搜素)是在版本2.4新加的特性。在以前的版本,是通过精确匹配和正则表达式来查询,这效率是很低的。全文索引,能够从大量的文本中搜索出所需的内容,内置多国语言和分词方法。不支持宇宙第一语言—中文。全文索引会导致mongodb写入性能下降,因为所有字符串都要拆分,存储到不同地方。

2015-03-19 21:34:07 8852 4

原创 MongoDB 索引之介绍与使用

MongoDB中的索引其实类似于关系型数据库,都是为了提高查询和排序的效率的,并且实现原理也基本一致,大部分优化MySQL索引的技巧也同样适用于mongodb。由于集合中的键(字段)可以是普通数据类型,也可以是子文档。MongoDB可以在各种类型的键上创建索引。索引是对数据库表中一列或多列的值进行排序的一种特殊的数据结构,存储在一个易于遍历读取的数据集合中。当查询中用到某些条件时,可以对该键建立索引,能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询

2015-03-19 21:07:42 2065

原创 MongoDB Capped Collection

capped collections 是性能出色的有着固定大小的集合,以LRU(Least Recently Used 最近最少使用)规则和插入顺序进行age-out(老化移出)处理,自动维护集合中对象的插入顺序,在创建时要预先指定大小。如果空间用完,新添加的对象将会取代集合中最旧的对象

2015-03-18 21:29:30 1936

原创 MongoDB MapReduce使用

MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务,分配到多服务器上并行处理。

2015-03-18 21:19:41 848

原创 MongoDB 高级查询(二)

介绍mongodb的筛选返回值、游标、存储过程、Group及聚合函数的使用......

2015-03-18 21:00:11 803

原创 MongoDB 高级查询(一)

介绍mongodb常用查询函数、正则等.......

2015-03-18 20:52:02 1083

thrift-spring-http代码实例

本文借鉴spring对hessian的支持,实现spring对Thrift的支持。服务端主要使用了spring的HttpRequestHandler接口和RemoteExporter接口。HttpRequestHandler接口用于暴露http服务,这样就可以接受http的请求,这个如果使用servlet也是可以的。RemoteExporter这块其实主要就是使用了它getServiceInterface和getProxyForService两个方法,这个和thrift服务端代码结合暴露内部的服务。客户端主要使用spring的MethodInterceptor和UrlBasedRemoteAccessor以及代理来实现对服务端的远程调用。

2015-03-02

spring-httpinvoker-demo

Spring HTTP Invoker是spring框架中的一个远程调用模型,执行基于HTTP的远程调用,也就是说,可以通过防火墙,并使用java的序列化机制在网络间传递对象。客户端可以很轻松的像调用本地对象一样调用远程服务器上的对象,要注意的一点是,服务端、客户端都是使用Spring框架。

2015-03-02

comet4j-demo

Comet4J Comet for Java 是一个纯粹基于AJAX XMLHTTPRequest 的服务器推送框架 消息以JSON方式传递 具备长轮询 长连接 自动选择三种工作模式

2015-02-26

olingo实例代码

Apache Olingo 是个 Java 库,用来实现 Open Data Protocol (OData)。 Apache Olingo 包括服务客户端和 OData 服务器方面。当前支持 OData 2.0 ,未来会支持 OData 4.0。Apache Olingo 扩展部分支持 JPA 持久性或者注释 bean 类。The Open Data Protocol (OData) 是个 web 协议,为了增强各种网页应用程序之间的数据兼容性,微软公司启动了一项旨在推广网页程序数据库格式标准化的开源数据协议(OData)计划,于此同时,他们还发 布了一款适用于OData协议的开发工具,以方便网页程序开发者们使用。

2015-02-02

Postman-REST-Client_v0.8.1

Postman 是一个非常棒的Chrome扩展,提供功能强大的API & HTTP 请求调试。它能够发送任何类型的HTTP requests (GET, HEAD, POST, PUT..),附带任何数量的参数+ headers。

2015-02-02

MQTT实现wmqtt

我们使用java实现生产者和消费者(MQTT使用wmqtt.jar),服务器采用mosquitto。

2015-01-20

PhpMQTTClient

MQTT协议是为大量计算能力有限,且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议,它具有以下主要的几项特性: 1、使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合; 2、对负载内容屏蔽的消息传输; 3、使用 TCP/IP 提供网络连接; 4、有三种消息发布服务质量: “至多一次”,消息发布完全依赖底层 TCP/IP 网络。会发生消息丢失或重复。这一级别可用于如下情况,环境传感器数据,丢失一次读记录无所谓,因为不久后还会有第二次发送。 “至少一次”,确保消息到达,但消息重复可能会发生。 “只有一次”,确保消息到达一次。这一级别可用于如下情况,在计费系统中,消息重复或丢失会导致不正确的结果。 5、小型传输,开销很小(固定长度的头部是 2 字节),协议交换最小化,以降低网络流量; 6、使用 Last Will 和 Testament 特性通知有关各方客户端异常中断的机制;

2015-01-19

AndroidPushNotificationsDemo

MQTT协议是为大量计算能力有限,且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议,它具有以下主要的几项特性: 1、使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合; 2、对负载内容屏蔽的消息传输; 3、使用 TCP/IP 提供网络连接; 4、有三种消息发布服务质量: “至多一次”,消息发布完全依赖底层 TCP/IP 网络。会发生消息丢失或重复。这一级别可用于如下情况,环境传感器数据,丢失一次读记录无所谓,因为不久后还会有第二次发送。 “至少一次”,确保消息到达,但消息重复可能会发生。 “只有一次”,确保消息到达一次。这一级别可用于如下情况,在计费系统中,消息重复或丢失会导致不正确的结果。 5、小型传输,开销很小(固定长度的头部是 2 字节),协议交换最小化,以降低网络流量; 6、使用 Last Will 和 Testament 特性通知有关各方客户端异常中断的机制;

2015-01-19

rsmb安装包

MQTT(Message Queuing Telemetry Transport,消息队列遥测传输)是轻量级基于代理的发布/订阅的消息传输协议,设计思想是开放、简单、轻量、易于实现。有可能成为物联网的重要组成部分。该协议支持所有平台,几乎可以把所有联网物品和外部连接起来,被用来当做传感器和致动器(比如通过Twitter让房屋联网)的通信协议。

2015-01-19

haproxy-1.5.8.tar.g

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上.

2014-11-14

rocketmq实例代码

RocketMQ是一个纯java、分布式、队列模型的开源消息中间件,前身是Metaq,当 Metaq 3.0发布时,产品名称改为 RocketMQ。

2014-11-09

RocketMQ安装源码

RocketMQ是一个纯java、分布式、队列模型的开源消息中间件,前身是Metaq,当 Metaq 3.0发布时,产品名称改为 RocketMQ。

2014-11-09

RocketMQ学习文档

RocketMQ是一个纯java、分布式、队列模型的开源消息中间件,前身是Metaq,当 Metaq 3.0发布时,产品名称改为 RocketMQ。

2014-11-09

RocketMQ安装包

RocketMQ是一个纯java、分布式、队列模型的开源消息中间件,前身是Metaq,当 Metaq 3.0发布时,产品名称改为 RocketMQ。 具有以下特点: 1、能够保证严格的消息顺序 2、提供丰富的消息拉取模式 3、高效的订阅者水平扩展能力 4、实时的消息订阅机制 5、亿级消息堆积能力。

2014-11-09

rabbitmq-demo学习实例

rabbitmq学习实例,几种交换类型的demo和与spring结合的demo

2014-11-08

spring-rabbitmq-demo

基于spring-rabbitmq的异步消息发送和RPC远程调用实例

2014-11-08

kafka学习实例

kafka集群测试,生产、消费实例代码,kafka-demo.rar

2014-11-02

dubbo实例代码

dubbo测试实例,使用zookeeper注册中心。

2014-11-02

linux文件共享服务汇总

1、samba服务器 Windows与Linux文件共享 (主局域网) 1.1samba服务器介绍 1.2samba服务的启动和进程 1.3Samba 配置 1.4samba服务器端常用命令 1.5Samba应用示例一:linux用户在window端访问宿主目录 1.6Samba应用示例二:linux用户在window端访问服务器指定目录 1.7Samba应用案例三:建立一个公共的只读目录 2、FTP应用-vsftpd 2.1、FTP服务器介绍 2.2、FTP服务器配置 2.3、匿名用户访问 2.4、取消匿名用户登录 2.5、限定哪些用户可以访问ftp 2.6、限定哪些用户不可以访问其他目录 2.7、其他选项设置 3、UNIX类操作系统文件共享-NFS 3.1NFS说明 3.2NFS示意图 3.3安装和启动NFS服务器 3.4NFS服务器端设置 3.5NFS客户端设置 3.6NFS开机自动挂载 4、SSH与rsync 4.1介绍和使用ssh 4.2远程传输,备份 4.3使用rsync实现增量备份

2014-03-14

Android adb命令使用详解

Android 调试桥 adb 是多种用途的工具 该工具可以帮助你你管理设备或模拟器 的状态 可以通过下列几种方法加入adb: 在设备上运行shell命令 通过端口转发来管理模拟器或设备 从模拟器或设备上拷贝来或拷贝走文件 下面对adb进行了介绍并描述了常见的使用 ">Android 调试桥 adb 是多种用途的工具 该工具可以帮助你你管理设备或模拟器 的状态 可以通过下列几种方法加入adb: 在设备上运行shell命令 通过端口转发来管理模拟器或设备 从模拟器或设备上拷贝来或拷贝走文件 [更多]

2014-03-07

Selenium chrome和iE webdriver

selenium 测试iedriverserver和chromedriver

2017-04-02

selenium自动化测试工具Firefox以及插件

基于selenium开发工具

2017-04-02

Hive用户指南(Hive_user_guide)_中文版

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

2015-10-08

PowerMock实战手册

PowerMock 也是一个单元测试模拟框架,它是在其它单元测试模拟框架的基础上做出的扩展。通过提供定制的类加载器以及一些字节码篡改技巧的应用,PowerMock现了对静态方法、构造方法、私有方法以及 Final 方法的模拟支持,对静态初始化过程的移除等强大的功能。因为 PowerMock在扩展功能时完全采用和被扩展的框架相同的 API, 熟悉PowerMock 所支持的模拟框架的开发者会发现 PowerMock 非常容易上手。PowerMock的目的就是在当前已经被大家所熟悉的接口上通过添加极少的方法和注释来实现额外的功能,目前,PowerMock 仅支持 EasyMock 和 Mockito。

2015-06-03

TestNG官方文档中文版

TestNG是一个测试框架,其灵感来自JUnit和NUnit的,但引入了一些新的功能,使其功能更强大,使用更方便。

2015-06-02

smack开发文档

Smack是一个用于和XMPP服务器通信的类库,由此可以实现即时通讯和聊天。

2015-06-01

基于xmpp_openfire_smack开发之smack类库介绍和使用

关于Smack编程库,前面我们提到,它是面向Java端的api,主要在PC上使用,利用它我们可以向openfire服务器注册用户,发送消息,并且可以通过监听器获得此用户的应答消息,以及构建聊天室,分组,个人通讯录等等。

2015-06-01

ActiveMQ集群

ActiveMQ具有强大和灵活的集群功能,ActiveMQ的集群方式主要由两种:Master-Slave和Broker Cluster。

2015-06-01

FastDFS安装软件包

FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。在生成环境FastDFS一般都是用集群配置,以提高FastDFS的可用性,并发能力。

2015-05-27

分布式文件系统fastdfs架构剖析及配置优化

FastDFS是一款开源的轻量级分布式文件系统 纯C实现,支持Linux、FreeBSD等UNIX系统 类google FS,不是通用的文件系统,只能通过专有API访问,目前提供了C、Java和PHP API 为互联网应用量身定做,解决大容量文件存储问题,追求高性能和高扩展性 FastDFS可以看做是基于文件的key value pair存储系统,称作分布式文件存储服务更为合适

2015-05-27

fastdfs 5.01 + nginx + cache 集群安装配置手册

FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

2015-05-27

dlz-dns-web

DLZ不是一个dns服务器,只是bind9的一个补丁,为简化了管理,减少了内存的使用和启动时间。使用DLZ可以将ZONE文件数据库数据存储在数据库,当数据库变化时,可以及时通知bind,并更新数据,不需要重启或重新加载配置。DLZ支持数据库 PostgreSQL, MySQL, Berkeley DB, ODBC (thus Firebird, DB2, Oracle, Sybase, SAPDB) and LDAP,它也可以使用一个标准的文件系统作为数据库,如果现有的驱动不满足,也支持API实现自定义驱动开发。DLZ不会影响bind现有的特性,你仍然可以使用标准的dns zone文件。

2015-04-23

dlz-dns-etc

DLZ不是一个dns服务器,只是bind9的一个补丁,为简化了管理,减少了内存的使用和启动时间。使用DLZ可以将ZONE文件数据库数据存储在数据库,当数据库变化时,可以及时通知bind,并更新数据,不需要重启或重新加载配置。DLZ支持数据库 PostgreSQL, MySQL, Berkeley DB, ODBC (thus Firebird, DB2, Oracle, Sybase, SAPDB) and LDAP,它也可以使用一个标准的文件系统作为数据库,如果现有的驱动不满足,也支持API实现自定义驱动开发。DLZ不会影响bind现有的特性,你仍然可以使用标准的dns zone文件。

2015-04-23

使用bind构建高可用智能dns服务器

目前智能DNS的实现主要有两种方式,一种是使用F5公司的BIG-IP GTM,另一种是使用bind自带的view来实现。BIG-IP GTM是一款商业产品,功能、性能极为强大,但是由于价格昂贵,中小型企业基本不会考虑花巨资购买此产品,所以只有一些门户网站将此用于核心业务,比如百度、阿里巴巴、金山;bind是一款开源程序,利用其自带的view可轻松实现智能DNS功能,其功能、性能都很好,一台普通配置的服务器,可每秒可处理2-4千查询请求。下面我们看一下利用bind的view功能是如何实现智能DNS的。

2015-04-19

spring-data-redis-demo

Spring-data-redis是spring大家族的一部分,提供了在srping应用中通过简单的配置访问redis服务,对reids底层开发包(Jedis, JRedis, and RJC)进行了高度封装,RedisTemplate提供了redis各种操作、异常处理及序列化,支持发布订阅,并对spring 3.1 cache进行了实现。

2015-04-07

memcache-demo

XMemcached 是一个新 java memcached client。下面我们以XMemcached为例,结合spring演示一下其使用。

2015-03-26

mongodb 备份恢复工具

mongobackup 是用于复制集的增量备份与恢复工具,恢复时,需要结合全量备份与恢复使用。

2015-03-20

thrift-zookeeper-rpc

对于Thrift服务化的改造,主要是客户端,可以从如下几个方面进行: 1.服务端的服务注册,客户端自动发现,无需手工修改配置,这里我们使用zookeeper,但由于zookeeper本身提供的客户端使用较为复杂,因此采用curator-recipes工具类进行处理服务的注册与发现。 2.客户端使用连接池对服务调用进行管理,提升性能,这里我们使用Apache Commons项目commons-pool,可以大大减少代码的复杂度。 3.关于Failover/LoadBalance,由于zookeeper的watcher,当服务端不可用是及时通知客户端,并移除不可用的服务节点,而LoadBalance有很多算法,这里我们采用随机加权方式,也是常有的负载算法,至于其他的算法介绍参考:常见的负载均衡的基本算法。

2015-03-08

protobuf-demo

protobuf-rpc-pro是一个Java类库,提供了基于 Google 的 Protocol Buffers 协议的远程方法调用的框架。基于 Netty 底层的 NIO 技术。支持 TCP 重用/ keep-alive、客户端和服务端双向调用、SSL加密、RPC 调用取消操作、嵌入式日志等功能。

2015-03-05

burlap-spring-demo

Burlap是一个轻量级的XML RPC协议 这使得他可以移植到任何可以解析XML的语言中 比起Hessian 它的可读性更强 和其他基于Xml的远程技术(如SOAP和XML RPC)不同 它的消息结构尽可能简单 不需要额外的外部定义语言 如WSDL或IDL Hessian Burlap是Caucho提供的两种基于Http的轻量级远程服务 Burlap现在已经集成到hessian jar中 不作为一个单独的项目了 ">Burlap是一个轻量级的XML RPC协议 这使得他可以移植到任何可以解析XML的语言中 比起Hessian 它的可读性更强 和其他基于Xml的远程技术(如SOAP和XML RPC)不同 它的消息结构尽可能简单 不需要额外的外部定义语言 如WSDL或IDL [更多]

2015-03-03

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除