windows下本地debug运行同步,hive到mysql,其中hive带Kerveros认证的方法如下。
直接同步会报错:
java.lang.RuntimeException:
java.io.FileNotFoundException: java.io.FileNotFoundException:
HADOOP_HOME and hadoop.home.dir are unset.
下载https://github.com/steveloughran/winutils
下载对应版本到本地,设置环境变量
报错没有datax.py文件:
修改datax.py路径
报错Kerberos认证失败:
login failure for hive from keytab javax.security.auth.login.loginexception
解决方法:拷贝hive.keytab和krb5.conf文件到win系统
修改job文件中keytab与conf文件的路径为本地路径,这两个文件中有hosts修改过的地址,所以需要将linux下的hosts复制到win下的hosts。