一、问题类型
问题1:使用DataX-Web时点击数据源管理功能时一直加载并报错,等待很长时间也无法加载完毕。
问题2:连接Hive数据库时连接不成功。
二、问题原因
问题1
在配置好DataX-Web后,登录其对应的端口的浏览器页面是无法直接进行配置的,其原因是DataX-Web的元数据表中缺少一些必备的表(下附),在安装好Datax-Web后需要进行额外的配置。把这些表手动的创建好之后才能继续正常的配置。
问题2
连接Hive时,不能只启动Hive数据库,同时还要提前配置和启动hiveserver2和hive --service metastore。
三、解决方法
问题1
将上传的文件下载后,可在Navicat对应的数据库中创建Query语句并执行,之后重新登陆DataX-Web的端口页面即可。
问题2
如果是只配置了Hive的话,需要在core-site和hive-site中添加配置,在这之前你需要把集群提前关闭。
core-site:
<!--配置所有节点的hadoop用户都可作为代理用户-->
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<!--配置hadoop用户能够代理的用户组为任意组-->
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<!--配置hadoop用户能够代理的用户为任意用户-->
<property>
<name>hadoop.proxyuser.hadoop.users</name>
<value>*</value>
</property>
hive-site:
<!--hive默认在HDFS的工作目录-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<!-- 指定hiveserver2连接的端口号-->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<!--指定hiveserver2连接的host-->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>master</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083</value>
</property>
配置好后重新启动集群,在DataX-Web的端口页面进行连接即可。