云
文章平均质量分 66
chuanzhongdu1
这个作者很懒,什么都没留下…
展开
-
hadoop动态增加删除节点
在master的conf/hdfs-site.xml中加入 dfs.hosts.exclude value>excludesvalue> 在$HADOOP_HOME下创建exclueds文件文件内容增加你想删除的节点,一行一个/bin/hadoop dfsadmin -refreshNodes命令刷新datanode例表/bin/hadoop dfsadmin -rep原创 2012-02-23 16:01:24 · 1983 阅读 · 0 评论 -
hbase集群配置
环境hbase-0.90.4hadoop-0.20.2zookeeper3.3.3三台机器master 192.168.1.90 (master,namenode secondnamenode)slaver1 192.168.1.92 slaver2 192.168.1.93环境变量在/etc/profile增加export HADOOP_HO原创 2011-11-07 16:09:02 · 1499 阅读 · 0 评论 -
hbase相关问题处理
2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Exception increateBlockOutputStream java.io.EOFException2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning block原创 2012-02-23 13:33:46 · 1723 阅读 · 0 评论 -
zookeeper相关问题解决
Error contacting service. It is probably not running.修改zkServer.sh文件status)STAT=`echo stat | nc -q 1 localhost如果nc 后有-q 1删除,反之亦然如有新问题持续更新原创 2011-11-08 15:11:01 · 888 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目转载 2011-11-08 13:56:56 · 520 阅读 · 0 评论 -
zookeeper锁机制
加锁:ZooKeeper 将按照如下方式实现加锁的操作:1 ) ZooKeeper 调用 create ()方法来创建一个路径格式为“ _locknode_/lock- ”的节点,此节点类型为sequence (连续)和 ephemeral (临时)。也就是说,创建的节点为临时节点,并且所有的节点连续编号,即“ lock-i ”的格式。2 )在创建的锁节点上调用转载 2011-11-08 13:58:32 · 885 阅读 · 0 评论 -
hbase数据模型
BigTable是什么?Google的Paper对其作了充分的说明。字面上看就是一张大表,其实和我们想象的传统数据库的表还是有些差别的。松散数据可以说是介于Map Entry(key & value)和DB Row之间的一种数据。在我使用Memcache的时候,有时候的需求是需要存储的不仅仅是简单的一个key对应一个value,可能我需要类似于数据库表结构中多属性的存储,但是又不会有传统数据库表结转载 2011-11-04 16:03:38 · 2605 阅读 · 0 评论 -
zookeeper简介
ZooKeeper是作为分布式应用建立更高层次的同步(synchronization)、配置管理 (configuration maintenance)、群组(groups)以及名称服务(naming)。在编程上,ZooKeeper设计很简单,所使用的数据模型风格很像文件系统的目录树结构,简单来说,有点类似windows中注册表的结构,有名称,有树节点,有Key(键)/Value(值)对的关系,可原创 2011-11-03 15:00:13 · 979 阅读 · 0 评论 -
hbase优化
修改noprc nofileubuntu/etc/security/limits.conf增加username soft noproc 32000username hard noproc 32000username soft nofile 32768username hard nofile 32768在/etc/pam.d/common-session加入ses原创 2012-02-27 15:10:12 · 1845 阅读 · 0 评论