hue file browser配置httpfs

配置

1.在HDFS——实例——添加角色实例——选择httpFs主机
在这里插入图片描述
2.在实例页面启动httpFs服务
在这里插入图片描述
3.在HUE——配置webhdfs_url选择一个httpfs节点
在这里插入图片描述
4.重启HUE

httpfs和webhdfs两种服务区别如下

  1. 两者都是基于REST的HDFS API,使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问,并且client不受语言的限制。
  2. WebHDFS是HDFS内置的、默认开启的一个服务,而HttpFS是HDFS一个独立的服务,若使用需要手动安装(CDH中安装HDFS时将HttpFS勾选上即可;HDP中需要用户手动安装)。
  3. WebHDFS是HortonWorks开发的,然后捐给了Apache;而HttpFS是Cloudera开发的,也捐给了Apache。
  4. WebHDFS是HDFS内置的组件,已经运行于NameNode和DataNode中。对HDFS文件的读写,将会重定向到文件所在的DataNode,并且会完全利用HDFS的带宽。HttpFS是独立于HDFS的一个服务。对HDFS文件的读写,将会通过它进行中转,它能限制带宽占用。如果访问大文件,HttpFS服务本身有可能变成瓶颈。如果你想限制客户端流量,以防其过度占用集群的带宽时,那可以考HttpFS。

经过测试发现httpfs支持HA模式,webhdfs不支持,因此使用httpfs

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值