Hadoop学习8：HDFS客户端环境准备(hadoop3.1.3)

最新推荐文章于 2022-05-28 22:18:31 发布
最新推荐文章于 2022-05-28 22:18:31 发布
阅读量805 收藏 1
点赞数
分类专栏： # Hadoop基础 文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43967413/article/details/121736666
版权

1 说明

需要在windows 10中使用HDFS,因而需要在Windows 10中配置hadoop相关的环境

官网下载的包在windows下解压后不存在winutils并且github码云上目前也是没有3.1.3版本的包，以下内容为原内容配置的是3.1.3，建议使用3.1.2。hadoop3.1.2下载地址

2 hadopp3.1.3下载

hadoop3.1.3下载

直接下载tar.gz文件解压即可，在Linux平台上也是用这个，但是Hadoop是基于Java的，基于JVM进行跨平台，所以有都是可以用的

3 环境变量配置

  1. 配置HADOOP_HOME变量
    在这里插入图片描述
  2. 在PATH添加如下项
    在这里插入图片描述
  3. 使用hadoop version验证
    在这里插入图片描述
    可能会出现以下问题：具体参考这里：Hadoop学习问题4：Windows10配置hadoop后使用hadoop命令失败问题
    在这里插入图片描述
window10安装Hadoop3.1.3
qq_40059532的博客
12-06 1万+
最近做实验需要在Linux系统安装Hadoop，由于我之前就想在window上安装，所以借此机会先在window上安装再在Linux安装。 个人比较喜欢安装比较新的东西，所以选择Hadoop3.1.3 准备工具 ： 1、jdk8，这里不要用其他jdk了，会出现一些其他问题的，我用jdk11有些包就找不到，好像jdk9都不行 2、Hadoop3.1.3，官网下载，也可以下载其他的3.0以上的版本，3...
Hadoop本地运行 Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:///问题
qq_38147044的博客
09-19 917
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:730) at org.apache.hadoop.fs.RawLocalFileSystem.p...
07 - HDFS客户端环境准备、HDFS的API操作、HDFS的I/O流操作
花&败
05-28 627
客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=kgf，kgf为用户名称。合并完成后，将hadoop-3.1.3.tar.gz.part1重新命名为hadoop-3.1.3.tar.gz。在Window命令窗口中进入到目录E:\，然后执行如下命令，对数据进行合并。将hdfs-site.xml拷贝到项目的根目录下。（1）客户端代码中设置的值 >（3）然后是服务器的默认配置。
客户端操作 1.环境准备
weixin_30914981的博客
08-15 126
HDFS客户端操作 1.HDFS客户端环境准备 　　1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图所示。 　　 　　　　　　　　　　　　图编译后的hadoop jar包 　　2．配置HADOOP_HOME环境变量，如图所示。 　　 　　　　　　　　　　　　图配置...
HDFS客户端环境准备
weixin_43497444的博客
02-26 1120
1.安装配置maven 下载maven.zip 将maven解压到指定目录 配置环境变量 新建MAVEN_HOME，在Path中添加%MAVEN_HOME%/bin CMD测试是否配置成功 配置maven settings.xml文件 进入maven根目录\conf中有一个settings.xml文件 添加阿里云镜像 <mirror> <id>alima...
hadoop(客户端环境准备)
weixin_43801718的博客
03-10 247
1.根据自己电脑的操作系统环境拷贝对应编译后的hadoop.jar包到非中文路径 例如：D:\Develop\hadoop-2.7.2 2.配置HADOOP_HOME环境变量 3.配置Path环境变量 4.在idea中创建一个Maven工程HdfsClientDemp 5.导入相应的依赖坐标+日志添加 <dependencies> <dependency> ...
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
hadoop-3.1.3安装包
07-28
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合...
大数据 hadoop-3.1.3 linux 安装包
最新发布
06-25
总之，Hadoop-3.1.3在Linux上的安装和配置是一个系统性的过程，涵盖了Java环境的准备、Hadoop配置文件的修改、服务的启动和测试等多个环节。这个过程不仅帮助我们理解Hadoop的基本原理，也为实际的大数据处理任务...
hadoop-3.1.3.tar.gz
12-06
总结，Hadoop 3.1.3在CentOS7上的安装与配置是一个涉及多步骤的过程，包括系统准备、环境配置、参数设定、服务启动和验证。理解并熟练掌握这些步骤，是成为Hadoop使用者的基础，也是进一步探索大数据处理的关键。...
hadoop之HDFS客户端操作---HDFS客户端环境准备
@小刘同学nice
04-01 561
HDFS客户端环境准备 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2） 配置HADOOP_HOME环境变量 配置Path环境变量 创建一个Maven工程HdfsClientDemo导入相应的依赖坐标+日志添加 <dependencies> <dependency>...
【Hadoop学习之HDFS】_07HDFS客户端环境准备
qq_40947493的博客
02-02 377
文章目录一、下载Hadoop jar包至非中文路径二、配置Hadoop环境变量三、创建一个Maven工程 一、下载Hadoop jar包至非中文路径 下载链接：https://hadoop.apache.org/releases.html 解压至非中文路径 二、配置Hadoop环境变量 配置HADOOP_HOME环境变量 配置Path环境变量 三、创建一个Maven工程 ...
【3.1】HDFS客户端操作之HDFS客户端环境准备
weixin_43958974的博客
02-22 361
一. HDFS客户端环境准备 HDFS客户端环境准备 （1）根据 自己电脑的操作 系统拷贝对应 的 编译 后的 hadoop jar包 到 非中文路径（ 例如 D:\Develop\hadoop-2.7.2）。 （2）配置 HADOOP_HOME环境变量 （3）配置 Path环境 变量 （4）创建一个 Maven工程 HdfsClientDemo （5）导入相应的依赖坐标+日志添加 （...
HDFS客户端操作1 开发环境准备
Auraros的博客
10-13 264
HDFS客户端操作1 开发环境准备 更多整理都在我的github上：Auraros欢迎大家。 HDFS客户端操作，首先需要配置好发开环境，在这里做客户端idea连接hadoop 具体步骤 将下载的hadoop-2.6.0.rar压缩包解压 增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录 在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin 解压下载的winutils，找到对应或邻近版本的Had
3.HDFS的客户端操作—环境准备（Windows10上安装与配置 Hadoop3.2 环境）、API操作、I/O流操作
页川叶川
07-02 1543
3.HDFS的客户端操作—环境准备、API操作、I/O流操作 3.1 HDFS客户端环境准备 3.1 在Win10上安装Hadoop并配置环境变量 略，请同学们自行百度查看，此处不在阐述。 一个问题：安装并配置完成Hadoop后，我们可以在CMD窗口输入winutils进行测试，若成功输出，则安装配置成功。若弹出某命令无法找到，则可能是系统缺少基本微软运行库。 4．创建一个Maven工程HdfsClientDemo 5．导入相应的依赖坐标+日志添加 junit junit RELEASE o
hadoop客户端环境搭建
weixin_42780784的博客
03-11 645
根据尚硅谷教程来配置maven与hadoop 视频地址：尚硅谷教程 根据尚硅谷的教程来的，结果还是花了一上午，写下这篇配置记录，供有相同问题的同学交流： 首先需要win10下编译过的hadoop，这个就花了一个多小时去找，最终在尚硅谷官网找到安装包，下载又花了一晚上。供上网盘链接：https://pan.baidu.com/s/1FZE3w766ILHfJQj0qWp0dQ 提取码：33wp ...
HDFS Java 客户端使用(Windows开发环境)
当幸福来敲门的专栏
12-02 764
1.加入依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt; &lt;artifactId&gt;hadoop-client&lt;/artifactId&gt; &lt;version&gt;2.6.4&lt;/version&gt; &
Hadoop实验：HDFS操作与Java API实战
实验环境设定为Linux系统，使用Hadoop 3.1.3、JDK 1.8以及Eclipse作为开发工具。 实验内容分为两个主要部分： **1. 使用Hadoop Shell命令操作HDFS** - **上传文件**：学生需要编写程序，能将本地文本文件上传至...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值