windows下运行hadoop的wordcount示例超详细过程

最新推荐文章于 2023-10-19 18:48:46 发布
最新推荐文章于 2023-10-19 18:48:46 发布
阅读量1.5k 收藏 4
点赞数
分类专栏： 大数据学习 文章标签： java hadoop windows hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shdxhsq/article/details/105591590
版权
windows下运行hadoop的wordcount示例超详细过程特别感谢参考博文中的两位博主的分享一.下载2个文件https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jarhttps://github.com/MuhammadBilalYar/...
摘要由CSDN通过智能技术生成

windows下运行hadoop的wordcount示例超详细过程

特别感谢参考博文中的两位博主的分享

一.下载2个文件

https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jar

https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/input_file.txt

我把这两个文件放到了D:/software/hadooptestfile.

路径里还是不要带其他符号比较好，因为可能会报错如下：
在这里插入图片描述

首先应该启动集群,使用管理员身份打开cmd(由于集群format时是使用管理员format的，为保证id不出错，就自始至终使用一个角色。)

start-all

另外：关于hadoop的配置可以参照这篇文章,

传送门：windows10下配置hadoop2.8.5超详细过程

二. 运行案例
2.1创建文件夹

首先在hdfs中创建一个文件

最低0.47元/天 解锁文章
shdxhsq
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
IDEA 运行 Hadoop WordCount示例
Difffate的技术随笔
12-05 1166
1、在本地解压hadoop安装包，然后修改系统变量，增加HADOOP_HOME及HADOOP_USER_NAME，HADOOP_USER_NAME为实际集群运行用户 2、修改项目的Pom文件 org.apache.hadoop hadoop-common 2.9.0
在windows上安装hadoop以及案例实现
最新发布
2301_79379574的博客
05-04 1515
配置好后，点击左侧 Project Explorer 中的 MapReduce Location 就能直接查看 HDFS 中的文件列表了，双击可以查看内容，右键点击可以上传、下载、删除 HDFS 中的文件，无需再通过繁琐的 hdfs dfs -ls 等命令进行操作了。注意：可以使用终端中的“jps”命令进行验证。注：HDFS 中的内容变动后，Eclipse 不会同步刷新，需要右键点击 Project Explorer中的 MapReduce Location，选择 Refresh，才能看到变动后的文件。
Hadoop运行示例WordCount
Horsleyli的博客
07-13 2128
一、运行Hadoop自带的hadoop-examples.jar报错 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 解决办法： 1.进入hdfs su - hdfs 2.查看目录权限 hdfs dfs -ls / 3.修改权限 hadoop fs -chmod 777 /user 执行结果： 首先创建input文件夹 hdfs dfs -mkdir -p /user/hdf
Kali Linux 安装搭建 hadoop 平台 调用 wordcount 示例程序 详细教程
Jay17的博客
10-19 1146
Kali Linux 安装搭建 hadoop 平台 调用 wordcount 示例程序 详细教程
Hadoop示例程序WordCount运行及详解
m0_67393039的博客
08-16 1871
其实WordCount并不难，只是一下子接触到了很多的API，有一些陌生，还有就是很传统的开发相比，map-reduce确实是一种新的编程理 念，为了让各位新手少走弯路，我将WordCount中的很多API都做了注释，其实这些方法搞明白了以后程序就很简单了，无非就是将一句话分词，先用 map处理再用reduce处理，最后再main函数中设置一些信息，然后run()，程序就结束了。* JobConf：map/reduce的job配置类，向hadoop框架描述map-reduce执行的工作。...
Hadoop运行wordcount示例
zb199566的博客
06-17 518
1.首先用hdfs namenode -format和start-all.sh启动Hadoop 2.使用HDFS运行WordCount程序 (1).在云端创建一个/data/input的文件夹结构 bin/hdfs dfs -mkdir -p /data/input (2).在本地创建一个test.txt touch test.txt (3).编辑test.txt文件，输入一些字符 nano test.txt 3.把本地的test.txt文件上传到云端，由主机进行文件的分布式存储。 bin/hdfs d
使用Windows连接Hadoop运行wordcount程序
山山而川的博客
10-04 450
本地Hadoop安装部署 将winutils.exe拷贝到windows下hadoop的bin目录 将hadoop.dll与winutils.exe拷贝到目录C:\Windows\System32 下 设置环境变量HADOOP_HOME为.../hadoop2.XXX/ 打开eclipse/idea导入jar包(mapreduce,yarn,hdfs,common)，编写程序运行wordcount WordCount程序编写 1、Map程序的编写 import java.io.IOException;
hadoop自带示例wordcount
m0_67401382的博客
08-16 1004
这里我们就以LICENSE.txt文件作为输入源文件，可以查看下license内容：$ cat LICENSE.txt ，我们统计下里面各个单词出现的次数，是不是有点小激动。这是小编自学hadoop的第一个示例程序，虽然简单，但是通过自己对hadoop文件系统HDFS和hadoop的shell命令的了解。目录，命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整)进入hadoop安装目录：$cd /home/hadoop/hadoop/...
Win10下运行Hadoop WordCount实例
MInNrz的Love&Share
05-23 383
Win10下运行Hadoop实例WordCount实例 环境： win10 jdk1.8 idea2019 不需要安装hadoop 技术需求： maven java基础开发 idea相关操作 步骤 新建一个maven项目 在pom中添加相关依赖，记得enable import <repositories> <repository> <id>apache</id> <url
Hadoop WordCount示例及源码解析
someby的博客
10-05 1590
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; imp...
使用hadoop实现WordCount实验报告.docx
06-10
实验报告的目的是详细记录使用Hadoop在Windows环境下实现WordCount应用的过程，包括环境配置、WordCount程序的实现以及实验结果分析。本实验旨在理解Hadoop分布式计算的基本原理，并熟悉Hadoop集群的搭建与管理。 #...
WordCount2_hadoopwordcount_
10-01
在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本，通常是在Hadoop 2.x环境下运行。这个程序的核心任务是对输入文本进行分词，统计每个单词出现的次数，并将结果输出。在这个过程中...
初学Hadoop之图解MapReduce与WordCount示例分析
02-01
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记：mapreduce框架详解3、hadoop示例程序wo
hadoop 运行成功代码（wordcount）
03-15
本项目将详细介绍如何在Hadoop环境中成功运行WordCount程序，以及涉及到的相关知识点。 首先，`Hadoop`是一个基于Java的框架，设计用来处理和存储大规模数据。它采用了分布式计算模型，即MapReduce，将大型任务分解...
Windows10下HDFS基本命令介绍与使用
shdxhsq的博客
05-13 1397
《Hadoop 最官方命令介绍-Hadoop-2.8.5》 传送门： https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/FileSystemShell.html#count 一、启动 hdfs 开始使用命令前，必须启动 Hadoop 由于配置好了环境变量，直接输入命令 start-dfs.cmd 要注意，下面的运行里有一些警告，是因为 jdk 高于 1.8，并不影响运行结果。 二、常见命令使用 (1)-h.
windows10下配置hadoop2.8.5超详细过程
shdxhsq的博客
04-17 1358
windows10下配置hadoop2.8.5超详细过程 初学hadoop，在windows10下学着配置hadoop，由于hadoop是运行在linux下的，在win10配置有许多问题需要注意。在此，记录如下，供大家学习时参考。 坚持写详细的教程，记录学习中的喜悦。 文章一览windows10下配置hadoop2.8.5超详细过程一.配置Java环境1.下载jdk包2.配置jdk环境3.验证...
Win10下安装spark踩坑实录
shdxhsq的博客
06-01 981
配置spark之前，需要有jdk8，Hadoop环境 目录配置spark之前，需要有jdk8，Hadoop环境一.安装IDE二.安装scalastep1：下载step2：配置环境step3:测试三.安装Sparkstep1：添加环境变量step2：复制winutils.exe问题1：问题2：问题3：问题4：问题5：step3：测试四.在eclipse中运行第一个spark程序参考文档 一.安装IDE http://scala-ide.org/download/sdk.html 版本号最好对应上 也有sca
hadoop wordcount 下载
01-07
下载Hadoop WordCount可以通过以下步骤完成： 1. 打开Hadoop官方网站（https://hadoop.apache.org/）。 2. 导航至Hadoop的下载页面。 3. 在下载页面上，选择适合您操作系统的稳定版本。 4. 点击下载按钮，开始下载Hadoop二进制文件（提供tar.gz和zip格式）。 5. 下载完成后，将压缩文件解压到您选择的目录。您可以使用命令行或文件管理器进行解压。 6. 打开解压后的Hadoop文件夹，找到examples文件夹。 7. 在examples文件夹中，您将找到一个名为wordcount的子文件夹，这就是WordCount示例的位置。 8. 打开wordcount文件夹，您将找到一个名为WordCount.java的Java源代码文件。 9. 如果您还没有安装Java开发环境（JDK），请先安装JDK。 10. 使用您喜欢的集成开发环境（IDE）或文本编辑器打开WordCount.java文件。 11. 根据您的需求或兴趣，可以对WordCount.java进行任何修改。 12. 保存WordCount.java文件，并在终端中导航到Hadoop的解压目录。 13. 运行以下命令来编译WordCount.java文件： ``` $ bin/hadoop com.sun.tools.javac.Main WordCount.java ``` 14. 编译完成后，使用以下命令打包WordCount.class文件： ``` $ jar cf wc.jar WordCount*.class ``` 15. 完成打包后，您可以使用Hadoop进行WordCount示例的测试。使用以下命令来运行WordCount示例： ``` $ bin/hadoop jar wc.jar WordCount /input /output ``` 其中，/input是输入文件的路径，/output是输出文件的路径。 16. 执行命令后，Hadoop将在指定的输出路径中生成计数结果。 这样，您就成功地下载并安装了Hadoop WordCount示例，并可以通过上述步骤来测试和运行WordCount任务。请确保在执行命令之前，已正确设置Hadoop的配置文件，以便与您的系统和集群相匹配。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值