hadoop
文章平均质量分 61
wangneng_168
这个作者很懒,什么都没留下…
展开
-
impala条件查询问题
使用impala查询hbase时,如果是“=”条件查询,如果不添加is not null条件,则会把该列没有值的记录也查询出来(空字符串不会),比如: Select * from user where name=’xiao wang’,该语句会查询出name等于xiao wang和null的数据。 Select * from user where name=’xiao wa...原创 2013-12-24 13:37:11 · 1168 阅读 · 0 评论 -
迁移namenode
由于hbase集群的namenode所在机柜需要尽快让出,因此需迁移namenode,旧nn的ip是0.238,新的ip是0.249,249服务器是之前老hbase集群的一个数据节点,由于基于hbase的应用的写入操作均是先写redis队列,再异步写hbase,并且我在停止hbase集群服务时不会停止zookeeper(zk停止服务后,client端重试机制会导致一个请求超过几十秒的等待...原创 2014-07-01 18:39:10 · 299 阅读 · 0 评论 -
hdfs之checkpoint
前提说明:研究的hadoop版本1.0.3checkpoint的触发条件:默认1小时进行一次merge;edits的文件大小超过大致64M以上两个条件,满足任意一个即可,每隔5分钟进行一次条件检查。 checkpoit流程:在SNN(secondary namenode)服务器上检查fs.checkpoint.dir fs.checkpoint.edit...原创 2014-03-24 23:00:44 · 293 阅读 · 0 评论 -
在centos6.3 安装hadoop hbase zookeeper
[b]一、环境准备[/b]1、安装centos系统时为hadoop指定专用用户:hadoop2、如果sudo命令有问题则可以先配置sudo,以便后续安装运维方便,如下步骤修改: 1)、切换到root权限:su root(如果已经是则不用切换) 2)、修改sudoers文件,添加hadoop用户的权限:vi /etc/sudoers,在“root ALL=(ALL) ...原创 2013-10-22 12:17:47 · 76 阅读 · 0 评论