Sqoop导入导出的时候总是出现等待5分钟的问题解决办法

25.25.27 Sqoop导入导出的时候总是出现等待5分钟的问题解决办法:

HDP3.1 中的 YARN 的 timeline server 默认使用内置的 HBase,不知道为什么,总是过几天就挂掉,暂时还没找到原因。后来想着让它使用外部的 HBase 看看会不会还有此问题。配置如下:
前提: Ambari 中已经装好 YARN 和 HBase 了。
(1) 把 YARN 的配置页中 Advanced yarn-hbase-env 部分里的下面三个值改成 HBase 配置页里相应的值。然后重启 YARN 的服务。

hbase.zookeeper.quorum    拷贝hbase中的设置
hbase.zookeeper.property.clientPort      2181
zookeeper.znode.parent

(2) 登陆到某台机器,执行下面的命令,创建需要的表。

export HBASE_CLASSPATH_PREFIX={hdp-dir}/hadoop-yarn/timelineservice/*

{hdp-dir}/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s

上面{hdp-dir} 是HDP 安装的目录,我的是 /usr/hdp/3.1.4.0-315

笔者的执行语句如下:

export HBASE_CLASSPATH_PREFIX=/usr/hdp/3.1.4.0-315/hadoop-yarn/timelineservice/*
/usr/hdp/3.1.4.0-315/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s

(3) 登陆 HBase shell,给 yarn 用户赋权限。

grant 'yarn', 'RWXCA'    (笔者没有设置)

转载于:https://www.cnblogs.com/langfanyun/p/10821415.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值