使用idea远程控制hadoop集群 habse,hive

1.首先下载必要的东西
Hadoop的jar包 这里用的是3.x
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

winutils工具包
https://codeload.github.com/s911415/apache-hadoop-3.1.0-winutils/zip/master

2.解压安装包和工具包

将工具包目录bin下的winutils.exe和hadoop.dll复制到hadoop-3.1.3\bin下
将hadoop.dll复制到C:\Windows\System32中
3.配置hadoop环境变量


在命令行输入 hadoop version
显示出来版本 表示环境搭建成功

下面是idea的配置
将hadoop-3.1.3 /etc/hadoop文件夹下的core-site.xml和log4j.properties文件拷贝到idea 的resources文件夹下

在core-site下添加

<configuration>
  <property>
               <name>fs.defaultFS</name>
               <value>hdfs://192.168.12.2:9000</value>
  </property>
<property>
               <name>hadoop.proxyuser.hadoop.hosts</name>
               <value>*</value>
</property>
<property>
               <name>hadoop.proxyuser.hadoop.groups</name>
               <value>*</value>
</property>
</configuration>

fs.defaultFS 改成自己的nm地址

在项目的pom文件添加 hadoop 依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.1.3</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.1.3</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>3.1.3</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
    <version>3.1.3</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-common</artifactId>
    <version>3.1.3</version>
</dependency>

执行程序即可