自己研究大数据一年多了,虽然技术上有很多提高,但是有个问题就是一直没法使用本地联调集群,每次都是写完打包放到集群执行。最近发现可以本地直接连接远程联调,大大提高了开发效率,分享一下。
1、下载hadoop,配置到本地环境变量中,路径中最好不要有空格或下划线
环境变量:
2、修改项目的pom.xml
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>commons-cli</groupId>
<artifactId>commons-cli</artifactId>
<version>1.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
3、把集群中core-site.xml和hdfs-site.xml两个文件拿下来,放到项目中resources目录下
4、设置Intellij idea中运行变量:
这里的working directory设置为hadoop的安装地址。至于上面的Program arguments,这是设置运行时传递的参数,可以传值,直接编写到程序中也可以。
这个地方遇到了坑,网上都是设置的单机IP地址加端口,比如hdfs://192.168.xx.xx:9000/...
这种样式的,我也一直测试但都是报不能连接9000端口。还一直以为自己哪里配错了。但是后来想明白了,既然是连接操作hdfs,那应该是8020端口,换了之后果然连通了。**如果这里用的是IP地址加端口,那resources中core-site.xml中也要使用同样的。**我这里使用的是集群名称的方式,resources中core-site.xml中也要使用同样的方式。如果两个不一样,会报错误。不建议使用IP的方式,假如配置使用的IP在启动的时候是standby角色的namenode,执行的时候会报不能写的错误,所以最好是使用hdfs://集群服务名
这种方式。
5、这个时候执行会报错:Unable to load native-hadoop library for your platform… using builtin-Java classes where applicable
,需要下载hadoop.dll,然后替换掉本地hadoop中bin目录下的文件。至于winutils.exe,我是没有替换也能正常执行,可换可不换。
下载地址:
6、执行继续报错
org.apache.hadoop.security.AccessControlException: Permission denied: user=ZhOu, access=WRITE, inode="/app":root:supergroup:drwxr-xr-x
,很明显是用户权限问题,网上找了一下,有很多解决方案,有兴趣的可以研究研究。这里提供一个简单的方案,就是不校验权限:修改hdfs-site.xml,本地和集群都要修改,然后集群还要重启namenode。
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
7、做到这里,就可以正常执行了。不需要每次打包放到线上执行了。Spark项目也是一样的做法,只是把working directory设置为spark的安装路径即可。