rainysia的专栏

Let it go

理解Hadoop HDFS的配额和fs, fsck工具

hadoop 使用HDFS来落地存储hbase的数据, 我们可以通过以下命令来查看HDFS的空间占用大小. hadoop fsck hadoop fs -dus hadoop fs -count -q 上述命令在hdfs里面可能存在权限问题, 可以前面加上sudo -u hdfs 来运行...

2016-05-02 11:01:02

阅读数:3308

评论数:0

HUE配置zookeeper,HDFS报错Failed to access filesystem root解决

在运行HUE的时候, webhdfs进入总会报错, Failed to access filesystem root我是在集群的三个server(namenode, node1, node2)里面,选的压力最小的一个namenode跑的docker的HUE版本. 版本号3.9ssh nameno...

2016-04-12 18:00:01

阅读数:4694

评论数:2

HBase落地到HDFS后磁盘空间急剧增长的解决.

场景 用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException, 于是ctrl+c取消了落地到H...

2016-04-01 14:58:44

阅读数:4280

评论数:0

使用HUE来管理hadoop集群

HUEHue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。HUE官方地址http...

2016-03-23 17:07:38

阅读数:15348

评论数:1

Centos7下Hortonworks的Ambari-server和Hadoop集群平台重装.

Ambari是apache的顶级项目, 是一套类似一键包安装hadoop集群的快速部署工具.地址在这里: https://ambari.apache.org/Apache Ambari本文是因为配置kerberos 授权的时候, 需要加安装一些功能, 比如tez的时候, 某个包(pig 安装失败,...

2016-03-02 14:30:36

阅读数:5566

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭