分布式
文章平均质量分 82
can007
莫畏浮云遮望眼...
展开
-
安装hadoop和gluster
安装glusterfs-3.2.5 tar -zxvf glusterfs-3.2.5.tar.gz cd glusterfs-3.2.5 ls ./configure yum install "fuse*" make make install ls ls /e原创 2012-09-05 20:02:43 · 1098 阅读 · 0 评论 -
Spark1.0.x入门指南(spark on yarn, standalone)
1 节点说明 IPRole192.168.1.111ActiveNameNode192.168.1.112StandbyNameNode,Master,Worker192.168.1.113DataNode,Master,Worker192.168原创 2014-07-16 21:38:00 · 9473 阅读 · 0 评论 -
关于硬盘和几种RAID
1 硬盘的基本工作原理1.1 硬盘部件结构图 1.2 主要参数术语解释磁头:在与硬盘交换数据的过程 中,读操作远远快于写操作,硬盘厂商开发一种读/写分离磁头。转速(Rotationl Speed):是硬盘内电机主轴的旋转速度,也就是硬盘盘片在一分钟内所能完成的最大转数。硬盘的转速越快,硬盘寻找文件的速度也就越快,相对的硬盘的传输速度也就得到了提高原创 2013-07-24 21:52:12 · 1424 阅读 · 0 评论 -
Amazon S3 功能介绍
1 存储过程 创建用于存储数据元的桶,可以选择数据元所驻留的地区(目前来说,选择东京、新加坡会快些,美国本土更便宜),上传数据元到桶,进行持久化存储。另外,可以对上传的数据元及桶进行访问控制、加密等设置。每个AWS账户可以创建多个用户,用户可以对所拥有的数据进行上述权限控制。 目前可存储的你内容有:(1)多媒体、音乐、图片(2)视频监控文件原创 2013-06-04 22:35:32 · 2685 阅读 · 0 评论 -
HDFS中zookeeper的异常分析
1.KeeperException当和zookeeper已经建立连接,但是要查找的节点信息不存在时,会抛出此异常。当在查询节点信息的过程中,和zookeeperServer失去连接,此时KeeperException.Code为CONNECTIONLOSS,则,zookeeperClient端会继续查找ZK_CONNECTION_RETRIES*ZK_INIT_RETRIES次数,目前,Z原创 2012-11-07 11:38:11 · 3493 阅读 · 0 评论 -
Apache Hadoop2.0之HDFS均衡操作分析
1 HDFS均衡操作原理HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本,如果这个客户端在集群以外,那就选择一个不是太忙,存储不是太满的节点来存放,第二个副本放在与第一个副本相同的机架但是不同节点上,第三个放在与第二个和第一个副本不同的机架上,原则是尽量避免在相同的机架上放太多的副本。随着时间的推移,在各个DataNode节点上的数据块会分布的越来越不均衡。如果集群不均衡的程原创 2013-01-04 22:56:35 · 7726 阅读 · 2 评论 -
关于DataNode更改IP地址后所可能引发HDFS集群状态变化的分析
在Apache Hadoop2.0版本中,测试如果DataNode更改HostName或者IP地址,会引起什么样的情况发生。1 测试环境操作系统:CentOS 6.2Hadoop版本:Apache Hadoop2.0.2Block副本数:2个节点部署:NodeTypeHostNameIPNameNode原创 2012-12-19 20:36:11 · 5613 阅读 · 0 评论 -
CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
1. 环境说明 Hadoop的版本选用的hadoop-2.0.0-cdh4.1.2,此版本的hadoop增加了诸如热备等许多新功能。是Cloudera在hadoop0.23基础上改造的,并且把部分功能一起贡献给了Apache。目前Apache Hadoop最新的版本是hadoop-2.0.2-alpha。 CDH4下载地址: https://c原创 2012-11-23 22:42:56 · 4344 阅读 · 15 评论 -
Apache Hadoop2.0 安装部署说明
Apache Hadoop 2.0 安装部署1. 环境说明 Hadoop的版本选用的hadoop-2.0.2-alpha,此版本的hadoop增加了诸如Fedreation等许多新功能。是目前Apache Hadoop最新的版本。 Apache-Hadoop下载地址: http://www.apache.org/dyn/closer.cgi原创 2012-12-15 11:15:47 · 3587 阅读 · 0 评论 -
安装zookeeper记录
从Apache网站上(zookeeper.apache.org)下载ZooKeeper软件包,选择的是3.3.4版本的(zookeeper-3.3.4.tar.gz)。 这是官方的说明书:http://hadoop.apache.org/zookeeper/docs/current/zookeeperStarted.html#sc_RunningReplicatedZooKeep原创 2012-09-04 22:13:55 · 1258 阅读 · 0 评论 -
Akka框架学习中遇到的部分错误和异常及其解决方法
1.Exception in thread "main" java.lang.ClassNotFoundException: akka.remote.RemoteActorRefProvider原因:缺少akka-remote-2.0.2.jar包2. Exception in thread "main" java.lang.NoClassDefFoundError: com/go原创 2012-08-08 18:08:01 · 6451 阅读 · 1 评论 -
Yarn中的几种状态机
1 概述 为了增大并发性,Yarn采用事件驱动的并发模型,将各种处理逻辑抽象成事件和调度器,将事件的处理过程用状态机表示。什么是状态机? 如果一个对象,其构成为若干个状态,以及触发这些状态发生相互转移的事件,那么此对象称之为状态机。 处理请求作为某种事件发送到系统中,由一个中央调度器传递给对应的事件调度器,进而对事件进行处理,处理完成之后再次发送给中央调度原创 2014-08-05 21:58:55 · 4250 阅读 · 0 评论