Hadoop

于 2022-05-08 22:22:11 发布
阅读量126 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_68066934/article/details/124656042
版权
这是一个使用Hadoop API实现的WordCount程序，通过读取输入文件`aaa.txt`，统计单词出现次数，然后将结果写入到`bbb`目录中。程序涉及到`Configuration`，`Job`，`Mapper`和`Reducer`的配置与使用。
摘要由CSDN通过智能技术生成

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;;

import org.apache.hadoop.mapreduce.Job;

 

import java.io.IOException;

 

 

public class WordCount {

    public static void main(String[] args) throws InterruptedException, IOException, ClassNotFoundException {

        //定义配置对象

        Configuration conf=new Configuration();

        //定义一个工作任务对象

        Job job=Job.getInstance(conf);

 

        //获取map阶段的一个对象

        job.setMapperClass(WordCountMap.class);

        //指定map阶段的一个输出key

        job.setMapOutputKeyClass(Text.class);

        //指定map阶段输出的values类型

最低0.47元/天 解锁文章
残寂iي
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop-代码统计文本单词
lhy857的博客
05-08 957
import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; /* * Text 输入的字符串类型，序列化 * IntWritable 输入一串1，序列化 * Text 输出的字符串类型，序列化 * IntWritable 输出的求和数组，序列化*/ public class .
hadoop简单单词统计
07-09
第一次实现hadoop上的程序，内含jar包和用例，算迈出大数据的第一步吧。。
hadoop实现单词统计
Bernice32880的博客
04-29 2138
工具：IDEA 在一切开始之前，我们先要确定我们的hadoop环境是否正常，hdfs文件系统是否正常。 如何验证呢？首先，把集群启动，正常显示界面： 进入文件系统： 此时需要创建一个文件夹用于存放一会会用到的文件，我这里取名为input 在hdfs系统创建文件夹有两个方法，其中一个是直接敲命令：hadoop fs -mkdir /input 第二个是在界面上创建： 不管用哪种方式，保证有这么一个文件夹就行了。 然后，创建一个txt文件，随便写几个单词进去，单词之间用空格分开（路径自己选，只要找得到就
hadoop单词统计
weixin_45732058的博客
11-15 2978
hadoop单词统计一.hadoop环境搭建二.hadoop单词统计 本篇文章简单实现hadoop功能之一WordCount统计单词，若未搭建hadoop环境建议参考下方链接搭建好环境再进一步操作。 一.hadoop环境搭建 建议参考《Hadoop的搭建，VmwareWorkstation 16pro + Ubuntu18.04.1》, https://blog.csdn.net/qq_43249582/article/details/116757548?utm_source=app&app_ver
Hadoop单词统计
weixin_33781606的博客
07-29 86
1. 本地创建文本文件 [root@s166 fantj]# mkdir input [root@s166 fantj]# cd input/ [root@s166 input]# echo "hello fantj" > file1.txt [root@s166 input]# echo "hello...
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
基于Hadoop的电影影评数据分析
04-04
【基于Hadoop的电影影评数据分析】是一项大数据课程的大作业，旨在利用Hadoop的分布式处理能力来分析电影影评数据。Hadoop是一个由Apache软件基金会开发的开源框架，专为处理和存储大规模数据而设计。它由四个核心...
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
最新发布
07-19
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层...
hadoop word count 单词统计
07-25
hadoop 入门程序 word count 完整代码, 可以处理hdfs文件和windows本地文件. 下载之后, 导入到IDEA, 修改pom.xml文件的jar包版本和hadoop集群版本一致,core-site.xml 配置和集群 etc/hadoop/core-site.xml一致. windows 本地hadoop开发环境配置所需文件, 请下载另一个资源
单词统计WordCount-hadoop程序
12-28
wordcount单词统计，hadoop程序，可直接放在hadoop环境中运行
Hadoop中单词统计案例运行的代码
03-02
Hadoop中单词统计案例运行的代码
Hadoop集群-单词统计
wxc1207的博客
03-02 536
单词统计 1.图解 2.export下建立一个data目录 mkdir -p /export/data cd /export/data vi word.txt 3.在HDFS 创建文件夹 hadoop fs -mkdir -p /wordcount/input 4.将export/data/word.txt的文件 上传到HDFS的input文件夹中 Hadoop fs -put /e...
Hadoop_WordCount单词统计
热门推荐
BLU_111的博客
04-23 4万+
Hadoop_WordCount单词统计 创建hadoop02工程 pom文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/...
hadoop集群-单词统计
qq_45855554的博客
11-21 3179
1.在用Hadoop进行单词统计前，要做好Hadoop的集群部署 输入上述命令，就能在浏览器中分别访问namenode:50070(namenode指的是你主节点的名字，这里我的主节点名字是namenode，50070是端口号）和namenode:8088,由此查看HDFS和YARN的web界面。如图所示： 接下来我们就可以进行单词统计啦。 2.首先，打开HDFS网页端，选择Utilities->Browse the file system 3.找一篇英语文章的TX..
【Hadoop】Hadoop-wordcount单词统计
qwertyuiopasdfghjklzxcvbnm
09-22 458
pom.xml &amp;amp;amp;lt;properties&amp;amp;amp;gt; &amp;amp;amp;lt;hadoop.version&amp;amp;amp;gt;2.7.3&amp;amp;amp;lt;/hadoop.version&amp;amp;amp;gt; &amp;amp;amp;lt;/properties&amp;amp;amp;gt; &amp
Hadoop的简单单词统计案例
Youda的博客
09-15 1563
Hadoop的简单单词统计案例 在Hadoop学习过程中，单词统计作为一个最基本的案例，非常简单实用，是每一个入门菜鸟必须要掌握的一个例子，可以通过这个简单的小案例了解Hadoop的基本运行原理和MapReduce程序的开发流程 引入相关Hadoop目录相关Jar文件： （hdfs(必须),common（必须），mapreduce（必须）） 引入配置文件： cor
Hadoop单词统计-各个过程详细说明
lovefef4的专栏
12-17 1270
package hadoop01;import java.io.IOException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; imp
Hadoop实践指南
Hadoop in Action Hadoop in Action是《in action》系列的一本非常优秀的Hadoop教程，虽然是英文版的，但对于学习Hadoop的开发者来说非常值得推荐。本书涵盖了Hadoop的方方面面，从基本概念到高级应用，都是非常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值