![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 85
rainysia
这个作者很懒,什么都没留下…
展开
-
HBase落地到HDFS后磁盘空间急剧增长的解决.
场景用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException, 于是ctrl+c取消了落地到HDFS. HDFS 一共有 3 个datanode. 每个节点有2T的磁盘空间$bin/hbase o原创 2016-04-01 14:58:44 · 7458 阅读 · 1 评论 -
Centos7下Hortonworks的Ambari-server和Hadoop集群平台重装.
Ambari是apache的顶级项目, 是一套类似一键包安装hadoop集群的快速部署工具.地址在这里: https://ambari.apache.org/Apache Ambari本文是因为配置kerberos 授权的时候, 需要加安装一些功能, 比如tez的时候, 某个包(pig 安装失败,) 导致禁用kerberos 无效. 进而陷入死循环不得不重装. 因为是物理机没有回滚机制. 所以记录原创 2016-03-02 14:30:36 · 6319 阅读 · 1 评论 -
HUE配置zookeeper,HDFS报错Failed to access filesystem root解决
在运行HUE的时候, webhdfs进入总会报错, Failed to access filesystem root我是在集群的三个server(namenode, node1, node2)里面,选的压力最小的一个namenode跑的docker的HUE版本. 版本号3.9ssh namenode `进入namenode server`docker exec -ti hue_test ba原创 2016-04-12 18:00:01 · 6718 阅读 · 3 评论 -
理解Hadoop HDFS的配额和fs, fsck工具
hadoop 使用HDFS来落地存储hbase的数据, 我们可以通过以下命令来查看HDFS的空间占用大小.hadoop fsck hadoop fs -dushadoop fs -count -q 上述命令在hdfs里面可能存在权限问题, 可以前面加上sudo -u hdfs 来运行以上命令首先让我们看看fsck和fs -dus区别hadoop fsck[root@no翻译 2016-05-02 11:01:02 · 5238 阅读 · 0 评论 -
使用HUE来管理hadoop集群
HUEHue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。HUE官方地址http://gethue.com/默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为M原创 2016-03-23 17:07:38 · 25644 阅读 · 1 评论 -
Accessing Hive using Java JDBC Issue -Unable to read HiveServer2 uri from ZooKeeper
启动Hadoop后, 发现hive 一直启动不起来, HIVE 3.1, driver是mysql 5.6测试了下mysql链接, 配置了 hive-site.xml 里面的mysql Password, 并且开通了mysql远程链接.进入到mysql后发现没有hive的相关DB.这下就好办了. 初始化下schemacd /usr/hdp/3.1.0.0-78/hive/bin...原创 2019-03-04 14:32:40 · 9160 阅读 · 0 评论 -
Zeppelin 反向代理
Zeppelin 配置反向代理Zeppelin安装好后,需要通过ip+port 来访问.安装nginx配置proxynginx proxy在nginx 配置里面增加一个 zeppelin_proxyupstream zepplinserver { server 192.168.1.238:8888;}server { li...原创 2019-03-27 14:42:49 · 778 阅读 · 0 评论