Hadoop学习8：HDFS客户端环境准备(hadoop3.1.3)

最新推荐文章于 2024-09-10 09:33:47 发布
最新推荐文章于 2024-09-10 09:33:47 发布
阅读量800 收藏 1
点赞数
分类专栏： # Hadoop基础 文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43967413/article/details/121736666
版权

1 说明

需要在windows 10中使用HDFS,因而需要在Windows 10中配置hadoop相关的环境

官网下载的包在windows下解压后不存在winutils并且github码云上目前也是没有3.1.3版本的包，以下内容为原内容配置的是3.1.3，建议使用3.1.2。hadoop3.1.2下载地址

2 hadopp3.1.3下载

hadoop3.1.3下载

直接下载tar.gz文件解压即可，在Linux平台上也是用这个，但是Hadoop是基于Java的，基于JVM进行跨平台，所以有都是可以用的

3 环境变量配置

  1. 配置HADOOP_HOME变量
    在这里插入图片描述
  2. 在PATH添加如下项
    在这里插入图片描述
  3. 使用hadoop version验证
    在这里插入图片描述
    可能会出现以下问题：具体参考这里：Hadoop学习问题4：Windows10配置hadoop后使用hadoop命令失败问题
    在这里插入图片描述
07 - HDFS客户端环境准备、HDFS的API操作、HDFS的I/O流操作
花&败
05-28 621
客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=kgf，kgf为用户名称。合并完成后，将hadoop-3.1.3.tar.gz.part1重新命名为hadoop-3.1.3.tar.gz。在Window命令窗口中进入到目录E:\，然后执行如下命令，对数据进行合并。将hdfs-site.xml拷贝到项目的根目录下。（1）客户端代码中设置的值 >（3）然后是服务器的默认配置。
window10安装Hadoop3.1.3
热门推荐
qq_40059532的博客
12-06 1万+
最近做实验需要在Linux系统安装Hadoop，由于我之前就想在window上安装，所以借此机会先在window上安装再在Linux安装。 个人比较喜欢安装比较新的东西，所以选择Hadoop3.1.3 准备工具 ： 1、jdk8，这里不要用其他jdk了，会出现一些其他问题的，我用jdk11有些包就找不到，好像jdk9都不行 2、Hadoop3.1.3，官网下载，也可以下载其他的3.0以上的版本，3...
客户端操作 1.环境准备
weixin_30914981的博客
08-15 126
HDFS客户端操作 1.HDFS客户端环境准备 　　1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图所示。 　　 　　　　　　　　　　　　图编译后的hadoop jar包 　　2．配置HADOOP_HOME环境变量，如图所示。 　　 　　　　　　　　　　　　图配置...
HDFS客户端环境准备
weixin_43497444的博客
02-26 1119
1.安装配置maven 下载maven.zip 将maven解压到指定目录 配置环境变量 新建MAVEN_HOME，在Path中添加%MAVEN_HOME%/bin CMD测试是否配置成功 配置maven settings.xml文件 进入maven根目录\conf中有一个settings.xml文件 添加阿里云镜像 <mirror> <id>alima...
hadoop(客户端环境准备)
weixin_43801718的博客
03-10 246
1.根据自己电脑的操作系统环境拷贝对应编译后的hadoop.jar包到非中文路径 例如：D:\Develop\hadoop-2.7.2 2.配置HADOOP_HOME环境变量 3.配置Path环境变量 4.在idea中创建一个Maven工程HdfsClientDemp 5.导入相应的依赖坐标+日志添加 <dependencies> <dependency> ...
【Hadoop】HDFS客户端操作
(｡◕‿◕｡)
03-01 271
HDFS客户端环境准备 1．拷贝文件 2．配置HADOOP_HOME环境变量 3. 配置Path环境变量 4．创建一个Maven工程HdfsClientDemo 5．导入相应的依赖坐标+日志添加 <dependencies> <dependency> <groupId>junit</groupId> <artifa...
Hadoop-HDFS学习
weixin_44468025的博客
03-12 402
Hadoop学习 一.概述 1.Hadoop是一套开源、可靠、可伸缩的分布式机制 2.大数据生态系统中的基础框架，超过70%的技术或者产业是围绕Hadoop产生的 3.Hadoop提供了简单的编程模型来对大量数据进行分布式处理 4.Hadoop你能够一台服务器扩展到千台，每一台服务器能够提供计算和存储功能 5.Hadoop本身提供了探测和处理异常的机制 6.Hadoop的发行版本 a.Apache Hadoop：最基础、最原始的版本。相对而言，不熟和维护比较复杂，但是适合于初学者，因为它没有将细节隐藏，更适
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
Hadoop本地运行 Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:///问题
qq_38147044的博客
09-19 913
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:730) at org.apache.hadoop.fs.RawLocalFileSystem.p...
hadoop-3.1.3安装包
07-28
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据，适用于在官网下载较慢的用户，免费下载，记得点赞
hadoop-3.1.3.tar.gz
12-06
总结，Hadoop 3.1.3在CentOS7上的安装与配置是一个涉及多步骤的过程，包括系统准备、环境配置、参数设定、服务启动和验证。理解并熟练掌握这些步骤，是成为Hadoop使用者的基础，也是进一步探索大数据处理的关键。...
大数据 hadoop-3.1.3 linux 安装包
06-25
总之，Hadoop-3.1.3在Linux上的安装和配置是一个系统性的过程，涵盖了Java环境的准备、Hadoop配置文件的修改、服务的启动和测试等多个环节。这个过程不仅帮助我们理解Hadoop的基本原理，也为实际的大数据处理任务...
hadoop之HDFS客户端操作---HDFS客户端环境准备
@小刘同学nice
04-01 561
HDFS客户端环境准备 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2） 配置HADOOP_HOME环境变量 配置Path环境变量 创建一个Maven工程HdfsClientDemo导入相应的依赖坐标+日志添加 <dependencies> <dependency>...
【Hadoop学习之HDFS】_07HDFS客户端环境准备
qq_40947493的博客
02-02 376
文章目录一、下载Hadoop jar包至非中文路径二、配置Hadoop环境变量三、创建一个Maven工程 一、下载Hadoop jar包至非中文路径 下载链接：https://hadoop.apache.org/releases.html 解压至非中文路径 二、配置Hadoop环境变量 配置HADOOP_HOME环境变量 配置Path环境变量 三、创建一个Maven工程 ...
【3.1】HDFS客户端操作之HDFS客户端环境准备
weixin_43958974的博客
02-22 360
一. HDFS客户端环境准备 HDFS客户端环境准备 （1）根据 自己电脑的操作 系统拷贝对应 的 编译 后的 hadoop jar包 到 非中文路径（ 例如 D:\Develop\hadoop-2.7.2）。 （2）配置 HADOOP_HOME环境变量 （3）配置 Path环境 变量 （4）创建一个 Maven工程 HdfsClientDemo （5）导入相应的依赖坐标+日志添加 （...
HDFS客户端操作1 开发环境准备
Auraros的博客
10-13 263
HDFS客户端操作1 开发环境准备 更多整理都在我的github上：Auraros欢迎大家。 HDFS客户端操作，首先需要配置好发开环境，在这里做客户端idea连接hadoop 具体步骤 将下载的hadoop-2.6.0.rar压缩包解压 增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录 在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin 解压下载的winutils，找到对应或邻近版本的Had
如何用idea连接hadoop
最新发布
ABU009的博客
09-10 332
#idea连接hadoop
Hadoop实验：HDFS操作与Java API实战
实验环境设定为Linux系统，使用Hadoop 3.1.3、JDK 1.8以及Eclipse作为开发工具。 实验内容分为两个主要部分： **1. 使用Hadoop Shell命令操作HDFS** - **上传文件**：学生需要编写程序，能将本地文本文件上传至...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值