Zicheng's tech blog

转自：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop3/

转自：http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

http://www.cnblogs.com/zhongxinWang/p/4262650.htmlhttp://zhengdl126.iteye.com/blog/419850

公司的一个服务需要存储大量的图片服务器，考虑使用hadoop的hdfs来存放图片文件.以下是整个架构思路:    使用hadoop作为分布式文件系统，hadoop是一个实现了HDFS文件系统和MapReduce的开源项目，我们这里只是使用了它的hdfs。    首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中，hadoop可以设定备份数，这样在hadoo

在笔者的另一篇文章《nginx性能改进一例》有讲到，在图片规模比大的情况，nginx处理能力受制于文件系统的io，意味着，在大规模图片的场景，如果运维还依旧采用传统文件系统的方式，无论是备份成本，还是前端成本，将是无法去衡量，不要去指望调优一点文件系统的一些参数，能带来多大的性能收益，也不要去目录hash+rewrite的方式，改进不大，因为新版的文件系统默认开启了dir_index，解决了同一个

现在几乎任何一个网站、Web App以及移动APP等应用都需要有图片展示的功能，对于图片功能从下至上都是很重要的。必须要具有前瞻性的规划好图片服务器，图片的上传和下载速度至关重要，当然这并不是说一上来就搞很NB的架构，至少具备一定扩展性和稳定性。虽然各种架构设计都有，在这里我只是谈谈我的一些个人想法。 对于图片服务器来说IO无疑是消耗资源最为严重的，对于web应用来说需要将图片服务器做

Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。       令人欣慰的是，这些问题在Hadoop 2.0中得到了非常完整的解决。Hadoop 2.0内核由三

ZooKeeper服务命令:     在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务:       sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务:       sh bin/zkServer.sh stop 4. 重启ZK服务:

基本概念与安装部署

工作中需要写一个定时任务,由于是集群环境,自然而然想到需要通过分布式锁来保证单台执行..相信大家都会想到使用zk来实现对应的分布式锁.下面就简单介绍一下几种实现。 准备工作有几个帮助类,先把代码放上来ZKClient 对zk的操作做了一个简单的封装

1．  认识ZooKeeperZooKeeper——“动物园管理员”。动物园里当然有好多的动物，游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物，而不是像走在原始丛林里，心惊胆颤的被动物所观赏。为了让各种不同的动物呆在它们应该呆的地方，而不是相互串门，或是相互厮杀，就需要动物园管理员按照动物的各种习性加以分类和管理，这样我们才能更加放心安全的观赏动物。回到我们企业级应用系统中，随着

ZooKeeper的部署方式主要有三种，单机模式、伪集群模式、集群模式。其实剩下的两种模式都是集群模式的特殊情况。这里我采取部署伪集群模式来说明，了解伪集群模式的部署方式，基本也就知道单机模式和集群模式该如何部署了！1.下载ZK的部署包我这里选用cloudera的3.3.3定制版，ZK下载地址:http://archive.cloudera.com/cdh/3/zookeeper-3.

一、编译安装[root@db1 ~]# wget http://cloud.github.com/downloads/libevent/libevent/libevent-2.0.14 -stable.tar.gz [root@db1 ~]# tar -zxvpf libevent-2.0.14-stable.tar.gz [root@db1 ~]# cd libevent-