DataX-Web连接Hive数据库不成功

一、问题类型

问题1:使用DataX-Web时点击数据源管理功能时一直加载并报错,等待很长时间也无法加载完毕。

问题2:连接Hive数据库时连接不成功。

二、问题原因

问题1

在配置好DataX-Web后,登录其对应的端口的浏览器页面是无法直接进行配置的,其原因是DataX-Web的元数据表中缺少一些必备的表(下附),在安装好Datax-Web后需要进行额外的配置。把这些表手动的创建好之后才能继续正常的配置。

问题2

连接Hive时,不能只启动Hive数据库,同时还要提前配置和启动hiveserver2和hive --service metastore。

三、解决方法

问题1

将上传的文件下载后,可在Navicat对应的数据库中创建Query语句并执行,之后重新登陆DataX-Web的端口页面即可。

问题2

如果是只配置了Hive的话,需要在core-site和hive-site中添加配置,在这之前你需要把集群提前关闭。

core-site:

<!--配置所有节点的hadoop用户都可作为代理用户-->
<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
</property>

<!--配置hadoop用户能够代理的用户组为任意组-->
<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
</property>

<!--配置hadoop用户能够代理的用户为任意用户-->
<property>
    <name>hadoop.proxyuser.hadoop.users</name>
    <value>*</value>
</property>

hive-site:

<!--hive默认在HDFS的工作目录-->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
<!-- 指定hiveserver2连接的端口号-->
  <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
  </property>
<!--指定hiveserver2连接的host-->
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>master</value>
  </property>
  <property>
    <name>hive.metastore.local</name>
    <value>false</value>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://master:9083</value>
  </property>

配置好后重新启动集群,在DataX-Web的端口页面进行连接即可。

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值