Hadoop入门系列（一）Window环境下搭建hadoop和hdfs的基本操作

最新推荐文章于 2024-09-11 06:00:00 发布
最新推荐文章于 2024-09-11 06:00:00 发布
阅读量1w 收藏 20
点赞数 2
文章标签： window hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32938169/article/details/80209083
版权
本文介绍了如何在Windows上安装和配置Hadoop，包括从清华镜像站下载Hadoop，安装winutils，配置相关XML文件，以及启动和停止Hadoop服务。此外，还提到了使用HDFS的基本操作，如创建目录、上传文件和查看文件系统。
摘要由CSDN通过智能技术生成

1.去官网下载hadoop。

1>选择镜像网站，选清华的镜像的网站。


2>找个自己喜欢版本的hadoop，下载好将压缩包解压。

 

2.找对应版本的winutil。因为hadoop主要基于linux编写，这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候，需要这个辅助程序才能运行。Github和csdn基本对应版本的都有。下载好解压放入hadoop的bin里，hadoop.dll放入window\Ssytem32\中。

csdn：

https://download.csdn.net/download/cpp_yangzuoshi/10164025


github:

https://github.com/steveloughran/winutils

最低0.47元/天 解锁文章
_DrZ_
关注
【Hadoop入门一】Windows下安装和配置Hadoop
05-14 2339
本文介绍如何在单机环境下安装配置Hadoop，并运行Word Count示例。 前提 确认已经安装好Java环境，并配置好环境变量。 一、下载Hadoop 1. 去官网下载Hadoop binary，我这里下载的是2.7.5版本，下载完成后解压hadoop-2.7.5.tar.gz到指定的hadoop安装目录。 2. 原版的Hadoop不支持Windows系统，需要搜索下载Hadoop对应版本的Windows运行包（可以到https://github.com/steveloughran/winut
hadoop入门安装教程及集群搭建
qq_52699757的博客
09-04 2093
vmware安装，centos7安装，hadoop集群搭建，ssh免密登陆
Hadoop-HDFS安装及分布式集群搭建详解
最新发布
m0_70691645的博客
09-11 1130
本文介绍了如何在Linux环境下安装Hadoop HDFS，并进行了简单的单节点和多节点分布式集群搭建。通过配置Hadoop的核心文件、格式化NameNode、启动HDFS集群，我们可以顺利搭建一个高可用、高容错的HDFS分布式文件系统。HDFS是Hadoop生态系统的基石，熟练掌握其安装及配置是大数据处理的基础。
Hadoop的安装和使用，Windows使用shell命令简单操作HDFS
zn2021220822的博客
09-11 4042
Hadoop的安装和使用，Windows使用shell命令简单操作HDFS，Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。 高可靠性。 高效性。 高可扩展性。 高容错性。 成本低。 运行在Linux平台上。 支持多种编程语言。,2，分布式文件系统HDFS
在Windows环境下安装hadoop | windows下操作HDFS
llLucky_BOY_的博客
12-16 388
安装hadoop 1.首先解压hadoop安装包 2.直接配置hadoop环境变量 HADOOP_HOME=hadoop安装路径（不要有中文目录） 在PATH里添加hadoop下bin的路径 3.测试：在cmd窗口 hadoop version 显示版本号则安装成功 maven 1.启动idea 2.建立maven工程 3.在自动生成的pom.xml文件下导包 导包 1.在setting下输入maven，找到它 有settings.xml文件 2.编辑这个文件 修改这两部分 <localReposi
快速在Window本地运行hadoop(包括hadoop的hdfs，mapreduce)
清纯玉面可爱小郎君
09-07 2503
window下运行HDFS 第一步：设置hadoop的在Window下运行配置 A、将hadoop（windows平台下编译的hadoop）安装包解压一份到windows的任意一个目录下（安装包见下面链接）（注意我的安装包下 已经有winutils.exe这个重要文件了，这个文件是我主动放进去的，必需的） B、在window系统中配置HADOOP_HOME指向你
hadoop2.5.2window下eclipse环境搭建
11-14
### hadoop2.5.2在Windows下的Eclipse环境搭建详解 #### 一、Hadoop简介 Hadoop是由Apache基金会所开发的一个开源分布式计算框架，主要用于处理和存储大规模数据集。它通过分布式文件系统（HDFS）和MapReduce编程...
window客户端连接hadoop hdfs，完美解决障碍
09-16
本文将详细介绍如何在Windows环境下完美解决这些问题，实现顺利连接Hadoop分布式文件系统（HDFS）。 首先，理解Hadoop HDFS：它是Apache Hadoop项目的核心组件之一，是一个分布式文件系统，设计用于跨大量廉价硬件...
hadoop开发环境搭建
09-12
因此，为了简化开发流程，提高效率，通常会搭建一个专门的开发环境来编写和测试Hadoop应用程序。本文档将详细介绍如何搭建这样一个环境。 #### 二、HadoopEclipse插件介绍 HadoopEclipse插件是专为Eclipse开发环境...
window版本下的hadoop 2.7.2版本的hadoop.dll和winutils.exe
04-21
在Windows环境下搭建Hadoop开发环境时，经常遇到的两个关键组件是`hadoop.dll`和`winutils.exe`。这两个文件对于在Windows操作系统上运行Hadoop MapReduce和HDFS操作至关重要。本文将详细介绍这两个组件以及如何在...
初学Hadoop——HDFS Java API 的使用、在linux中安装eclipse
qq_45154565的博客
10-20 4797
Hadoop不同的文件系统之间通过调用Java API进行交互，实验一中介绍的Shell命令，本质上也就是Java API的应用。 Hadoop官方的Hadoop API文档，可以访问如下网站，查看各个API的功能：网站链接 一、 Eclipse的安装 利用Java API进行交互，需要利用软件Eclipse编写Java程序。这里我使用的在Ubuntu中安装eclipse。 （1）在Ubuntu的边栏打开软件中心 （2）在软件中心搜索栏输入“ec”，软件中心会自动搜索相关的软件 点击图中的eclips
hadoop3.0.0以上版本的winutil
09-25
此资源适用于hadoop3.0.0以上版本在windows下的环境搭建，解压后拷贝替换原hadoop目录下的bin文件即可使用，方便快捷。
HDFS编程实践
m0_51371693的博客
03-26 5037
介绍HDFS编程实战
常用的Hadoop操作
m0_47169157的博客
09-18 1万+
常用的Hadoop操作常用的Hadoop操作 常用的Hadoop操作 启动hadoop，在HDFS中创建用户目录“/user/hadoop”（现在已经在hadoop目录/usr/local/hadoop）； 方法：cd /usr/local/hadoop ./sbin/start-dfs.sh(启动Hadoop) ./bin/hdfs dfs -mkdir -p /user/hadoop(创建目录) 效果如下图： 在此用户目录下创建text文件夹，并查看文件列表； 方法：./bin/hdfs dfs
熟悉MySQL和HDFS操作
m0_60946919的博客
06-21 4152
1.使用自己的用户名登录Windows系统，启动Hadoop，为当前登录的Windows用户在HDFS中创建用户目录“/user/[用户名]”；3.将Windows系统本地的一个文件上传到HDFS的test目录中，并查看上传后的文件内容；2.接着在HDFS的目录“/user/[用户名]”下，创建test目录；表1 学生表：Student（主码为Sno）表2 课程表：Course（主码为Cno）表3 选课表：SC（主码为Sno，Cno）所在系别（Sdept）课程名（Cname）学分（Credit）
实验一：熟悉常用的Hadoop操作
shi_zi_183的博客
05-25 8583
实验目的 Hadoop 运行在 Linux 系统上，因此，需要学习实践一些常用的 Linux 命令。本实验旨在熟悉常用的 Linux 操作和 Hadoop 操作，为顺利开展后续其他实验奠定基础。 实验平台 1、操作系统：win10 2、Hadoop版本：3.1.3 win10与hadoop集群位于同一局域网中。 实验步骤 1、熟悉常用的Hadoop操作 1）使用hadoop用户登录Linux系统，启动Hadoop（hadoop的安装目录为/usr/local/hadoop），为Hadoop用户在HDFS中创
hadoop学习之shell命令操作操作hdfs
有上进心的阿龙
12-18 390
1、-tail 显示文件的末尾，不支持行数 hadoop fs -tail /bigdata/fangfang.txt hadoop fs -tail -n 5 /bigdata/fangfang.txt(不支持) 但是支持-tail后面写追加。加上-f跟随查看。查看之后不退出 hadoop fs -tail -f /bigdata/fangfang.txt 在开一个连接： hadoop fs -appendToFile songsong.txt /bigdata/fangfang.txt
windows下hadoop的部署和使用
热门推荐
luoye4321的专栏
05-25 1万+
本教程在windows10环境下安装配置hadoop+hbase+spark。 一、下载压缩包： 1、JavaJDK，1.8以上。 2、Hadoop2.8.3，下载地址：http://archive.apache.org/dist/hadoop/core/ Hadoop2.8.3windows环境下的第三方包：winutils， https://github.com/stevelough...
Windows系统安装hadoop并启动
weixin_44976835的博客
07-29 2250
首先最基本的要安装JDK并配置好了环境变量 然后去hadoop官网下载对应版本的压缩包 解压到本地 在本地hadoop目录下找到： core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值