【学习历程】04 win10下IDEA连接Linux上的Hadoop集群

最新推荐文章于 2023-10-14 20:33:49 发布
最新推荐文章于 2023-10-14 20:33:49 发布
阅读量2k 收藏 28
点赞数 1
分类专栏： BigData大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aries1Chan/article/details/119743608
版权
本文详细介绍了如何在Windows环境下配置Hadoop环境，包括下载安装JDK和IntelliJ IDEA，设置Hadoop环境变量，配置Hadoop相关XML文件，以及添加hadoop.dll和winutils.exe。此外，还展示了如何通过Java API操作HDFS，并创建Maven工程进行测试。最后，提供了IDEA连接Linux上Hadoop集群的步骤。
摘要由CSDN通过智能技术生成

     如果要在windows下连接虚拟机上的Hadoop集群,就必须要保证windows下有java环境和hadoop环境。

一、环境准备

1、jdk1.8
2、idea2019
3、Linux上hadoop集群，版本为hadoop2.6.0-cdh5.14.2

二、win10上安装hadoop环境

1、下载hadoop包
网站链接：

https://archive.apache.org/dist/hadoop/common/
本文下载版本为：hadoop2.6.0-cdh5.14.0

解压在本地路径：D:\soft\hadoop-2.6.0-cdh5.14.0
2、配置hadoop环境变量
     计算机—属性—高级系统设置—高级—环境变量
（1）系统变量—新建HADOOP_HOME变量，变量值为hadoop解压安装路径：D:\soft\hadoop-2.6.0-cdh5.14.0
在这里插入图片描述
（2）系统变量—编辑Path，添加：D:\soft\hadoop-2.6.0-cdh5.14.0\bin

在这里插入图片描述
3、下载hadoop.dll和winutils.exe
     在windows下运行hadoop还需要hadoop.dll和winutils.exe这两个文件,各版本下载地址https://github.com/cdarlint/winutils，也可以通过https://pan.baidu.com/s/1hrNXq3y#list/path=%2F下载。下载完成之后，将hadoop.dll和winutils.exe文件放到hadoop文件夹下的bin目录下，并且需要将hadoop.dll复制一份到C:\Windows\System32。
在这里插入图片描述
在这里插入图片描述
4、修改D:\soft\hadoop-2.6.0-cdh5.14.0\etc\hadoop文件下的配置文件
（1）修改hadoop-env.cmd文件
在这里插入图片描述
在这里插入图片描述
（2）修改core-site.xml文件

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://node01:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
	<property>
	  <name>hadoop.proxyuser.hue.hosts</name>
	  <value>*</value>
	</property>
	<property>
	  <name>hadoop.proxyuser.hue.groups</name>
	  <value>*</value>
	</property>

	<property>  
       <name>hadoop.proxyuser.admin.hosts</name>  
       <value>*</value>  
    </property>  
    <property>  
       <name>hadoop.proxyuser.admin.groups</name>  
       <value>*</value>  
    </property>  
    <property>  
       <name>hadoop.proxyuser.httpfs.hosts</name>  
       <value>*</value>  
    </property>  
    <property>  
       <name>hadoop.proxyuser.httpfs.groups</name>  
       <value>*</value>  
    </property>  

</configuration>

（3）修改hdfs-site.xml文件

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
	
	<property>
	  <name>dfs.webhdfs.enabled</name>
	  <value>true</value>
	</property>

</configuration>

（4）修改yarn-site.xml文件

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

（5）修改mapred-site.xml.template文件
     首先要修改文件名，把mapred-site.xml.template改成marped-site.xml，然后

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

5、验证hadoop是否安装成功
      win+R打开命令提示符窗口，输入hadoop -version，如果显示如下内容，则表明hadoop环境配置成功。
在这里插入图片描述

三、hdfs上的javaAPI开发测试

1、IDEA创建maven工程
在这里插入图片描述
在这里插入图片描述
2、创建module
在这里插入图片描述
3、修改module文件的pom.xml，添加下面内容，并import changes

<repositories>
    <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
 </repositories>
 <dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0-mr1-cdh5.14.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.14.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.6.0-cdh5.14.2</version>
    </dependency>
 
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.6.0-cdh5.14.2</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/junit/junit -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.11</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.testng</groupId>
        <artifactId>testng</artifactId>
        <version>RELEASE</version>
    </dependency>
 </dependencies>
 <build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.0</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <encoding>UTF-8</encoding>
                <!--   <verbal>true</verbal>-->
            </configuration>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>2.4.3</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <minimizeJar>true</minimizeJar>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
 </build>

在这里插入图片描述
结果如下，即为导入仓库成功
在这里插入图片描述
4、开发hdfs的javaAPI操作

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.io.IOException;
public class HDFSOperate{
    @Test
    public void mkdirToHdfs() throws IOException {

        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS","hdfs://node01:8020");

        //FileSystem文件系统对象
        FileSystem fs = FileSystem.get(configuration);
        //FileSystem的mkdir方法
        boolean b = fs.mkdirs(new Path("/zzz/dir01"));
        //FileSystem关闭
        fs.close();
    }
}

运行结果：通过网页查看，显示创建文件夹成功。
在这里插入图片描述
在这里插入图片描述

四、IDEA连接Linux上的Hadoop集群，成功！

参考文章：
windows10下配置hadoop2.8.5超详细过程
windows10下使用idea远程调试hadoop集群
Win10下Hadoop环境的配置
win10下IDEA连接虚拟机上的HDFS实现文件操作

LALALAND__
关注
  • 1
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Idea连接阿里云搭建的Hadoop集群
qq_44927477的博客
08-08 581
通过阿里云内网搭建Hadoop集群后，使用Idea无法进行上传下载操作，在安全组中开放相应端口仍然无法解决，因此更改hosts映射，换为外网搭建集群，使用Idea正常访问
Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）_idea连接虚拟机上hadoop集群
最新发布
2401_84166965的博客
04-15 916
至此idea连接Hadoop集群配置完成，更多的操作可以通过Hadoop提供configuration类filesystem类、FSDataInputStream类和FSDataOutputStream类实现。有问题的朋友可以留言，我会及时回复我所能解决的问题，一些我安装时遇到的问题放在后面，大家可以浏览查看。
Hadoop-MapReduce应用-统计单词个数
weixin_30621919的博客
07-29 296
先说一些代码中使用到的东西： StringTokenizer：字符串分隔解析类型*之前没有发现竟然有这么好用的工具类java.util.StringTokenizer StringTokenizer(String str) ：构造一个用来解析str的StringTokenizer对象。java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’...
Windows系统用IDEA远程链接在本地虚拟机上的伪Hadoop集群
weixin_51594151的博客
06-20 738
方便在win10环境下，用idea工具进行编码，然后对Hadoop进行操作
Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）
2201_75875170的博客
10-14 3373
至此idea连接Hadoop集群配置完成，更多的操作可以通过Hadoop提供configuration类filesystem类、FSDataInputStream类和FSDataOutputStream类实现。有问题的朋友可以留言，我会及时回复我所能解决的问题，一些我安装时遇到的问题放在后面，大家可以浏览查看。
Win10的eclipse连接CentOS的Hadoop集群.doc
06-09
在Windows 10环境下使用Eclipse连接到CentOS上的Hadoop集群是一项常见的开发任务，尤其对于分布式计算和大数据处理的开发者来说。以下是一份详细步骤的指南，帮助你完成这一配置。 首先，确保你的Windows 10系统上...
linux下Hadoop集群环境搭建
04-20
在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务，它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点，并构建Hadoop集群环境。 首先，我们需要准备一个基础...
Linux中安装配置hadoop集群详细步骤
09-15
在Linux环境下搭建Hadoop集群是一项复杂但重要的任务，主要用于大数据处理和分析。本文将详细介绍如何在Ubuntu 14.04 64位系统上安装和配置Hadoop 2.7.1版本的集群。 一、简介 在开始之前，你需要两台Ubuntu 14.04 ...
win10下编译过的hadoop2.7.2 jar包
02-08
在Windows 10环境下编译并使用的Hadoop 2.7.2版本，是一个重要的里程碑，因为通常Hadoop是与Linux系统关联更紧密的。然而，通过特定的配置和设置，Hadoop也可以在Windows平台上运行。 标题"win10下编译过的hadoop...
Linux下Hadoop集群安装指南
05-08
Linux 下 Hadoop 集群安装指南 一、Linux 下 Hadoop 集群安装前的准备工作 在开始安装 Hadoop 集群之前，我们需要安装 VMware 和 Ubuntu Linux 作为操作系统。这一步骤非常重要，因为 Hadoop 集群需要在 Linux ...
idea intellij 连接hadoopHDFS插件
12-21
自己编译的插件，可连接hdfs，在idea设置plugin里面选择从磁盘安装插件。
MAC系统IDEA中利用Hadoop的插件来连接虚拟机HDFS-附件资源
03-05
MAC系统IDEA中利用Hadoop的插件来连接虚拟机HDFS-附件资源
在windows系统上用idea连接hadoop集群
zhangjqjiayou的博客
05-01 2794
最近做hadoop实验时老师让我们在linux系统装elipse，并在maven上写hdfs的API操作，但这会比较麻烦，在看其他视频后windows也可以作为客户端连接hadoop集群并进行hdfs操作。 1.首选需要hadoop的依赖包 包含2.6到3.2的依赖包，百度云下载 链接：https://pan.baidu.com/s/1GiK0DNWfAmSNN_rJr2FWjA 提取码：1234 然后配置环境变量和系统变量 并打开hadoop依赖包里的winutils.exe，正常打开会一
IntelliJ IDEA连接Hadoop集群
热门推荐
围炉夜敲的博客
10-16 1万+
相关连接 HDFS相关知识 Hadoop集群连接 HDFS Java API IntelliJ IDEA连接Hadoop集群 注意事项 准备文件 具体步骤 WordCount程序示例
Hadoop学习：window环境下idea连接linux上的hdfs集群
weixin_41576911的博客
11-05 1038
1、安装idea 2、新建Maven项目 其中GroupId一般是公司域名倒写，例：www.baidu.com，一般包名为com.baidu，这是一种规范，ArtifactId一般是指项目的具体作用，比如testHdfs。 3、项目完成后打开项目目录下的pom.xml文件，并添加如下依赖 <dependencies> <dependency> &...
idea连接hadoop集群并运行WordCount例子
lijiehua
07-08 1357
前提：在linux系统中搭建好hadoop集群 安装 解压即可，也可从linux中直接拉取过来 配置环境变量 可以只配箭头中的一项 创建maven项目导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE<
windows下使用idea远程链接Hadoop(Linux)
dfnkd的博客
11-25 2059
window系统使用idea远程链接Hadoop一.配置环境二.Idea中创建Maven项目,导入依赖三.启动四.FAQ 一.配置环境 1.将在Linux系统中解压的hadoop版本(.gz后缀),解压到指定目录 2.配置HADOOP_HOME环境变量 (1)新建环境变量(我解压在F:/) (2)Path变量 (3)检验:在dos窗口中输入hadoop 3.下载windows下连接hadoo...
idea连接Hadoop操作指令
shike1998的博客
11-19 1397
配置文件 创建文件 迭代删除 获取当前目录下 所有文件的对象 查看 写入 上传和下载 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.Before; import org.junit.Test; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.InputStream
idea的hadoop插件 连接 HDFS集群
岚风尘雨吾独醉、
05-02 731
blank disappeared
windows上idea连接虚拟机上的hadoop集群
06-09
在Windows上连接到虚拟机上的Hadoop集群，需要先确保虚拟机网络设置正确，Hadoop集群已经正确配置并运行。以下是连接Windows上的IDEA到虚拟机上的Hadoop集群的步骤： 1.在Windows上安装Hadoop客户端。可以从Hadoop官方网站下载最新版本的Hadoop客户端并进行安装。安装完成后，设置环境变量HADOOP_HOME和PATH。 2.在IDEA中配置Hadoop客户端。在IDEA中打开Project Structure，选择SDKs，然后单击“+”符号添加Hadoop客户端。在弹出的窗口中选择Hadoop客户端所在的路径。 3.在IDEA中配置Hadoop集群连接。在IDEA中打开Run/Debug Configurations，选择Application，然后单击“+”符号添加一个新的配置。在弹出的窗口中选择Hadoop，并在Hadoop Configuration中填写必要的信息（如NameNode的主机名、端口、HDFS路径等）。 4.测试连接。在IDEA中运行Hadoop任务（如WordCount），并检查是否能够成功连接到虚拟机上的Hadoop集群。 以上是连接Windows上的IDEA到虚拟机上的Hadoop集群的大致步骤。具体操作要根据不同的环境和需求进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值