Windows 访问 HDFS

最新推荐文章于 2024-06-30 18:06:15 发布

weixin_34029949

最新推荐文章于 2024-06-30 18:06:15 发布

阅读量942

点赞数

文章标签：操作系统大数据 java

原文链接：https://my.oschina.net/pearma/blog/1549860

版权

为什么80%的码农都做不了架构师？>>>

缘起

一天，有人问我，能用windows建一个客户端，来访问hadoop的hdfs文件系统吗？直觉告诉我，应该可以，不就是一个hadoop客户端吗？hadoop都是java代码，理论上应该能用。不过，还是要试验一下，才能确认。

环境

我手头刚好有个cdh环境，而且还做了kerberos身份验证，同时我所用的windows机器和CDH所用的AD不在同一个域，难度有点大。不过基本原理还是很清楚的，无非就是客户端先通过kinit拿到本地令牌，然后再访问hadoop呗。

步骤

下载hadoop软件包，apache官网，2.6的二进制版。
hadoop软件包解压缩后，假设放在d:\hadoop
下载winutil.exe,https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin , 放在d:\hadoop\bin下
从CDH集群下载hadoop配置信息，主要是集群内/etc/hadoop/conf目录，假设文件夹名为conf。将conf文件夹放在d:\hadoop\etc下，并重命名为hadoop。如果之前有同名目录存在，这将之前的hadoop目录改名即可。
从CDH集群下载kerberos配置信息，主要是集群内/etc/krb5.conf文件。将该文件放在d:\hadoop\krb5下。

设置环境变量

  set JAVA_HOME=d:\jdk1.8
  set HADOOP_HOME=d:\hadoop
  set KRB5CCNAME=d:\hadoop\krb5cache
  set PATH=%PATH%;%JAVA_HOME%\bin;%HADOOP_HOME%\bin
  set JAVA_TOOL_OPTIONS=-Dsun.security.krb5.debug=true -D"java.security.krb5.conf=d:\hadoop\krb5\krb5.conf"  #引号必须加。

执行%JAVA_HOME%\bin\kinit.exe 。由于我所用的windows机器已经加入到tom域，而CDH对应的AD域控域名为jerry。直接执行kinit是不行的，会默认去tome域认证。好在也有方法：
```
   kinit.exe -J-Dsun.security.krb5.debug=true -J-D"java.security.krb5.conf=d:\hadoop\krb5\krb5.conf" mac
```

这样一来，kinit就会使用我们指定的conf文件来验证身份，也会找到指定的jerry域了。

在执行kinit过程中，还提示了一个错误，就是AD服务器和windows客户端之间，加密算法类型不匹配。这个也没有关系，方法如下：
```
#修改d:\hadoop\krb5\krb5.conf文件
在[libdefaults]下新增：
default_tkt_enctypes = arcfour-hmac-md5
#强制指定使用双方都支持的加密算法
```
执行hdfs dfs -ls /，成功！

转载于:https://my.oschina.net/pearma/blog/1549860