[虚拟机VM][Ubuntu12.04]运行WordCount例子

最新推荐文章于 2021-02-07 17:33:27 发布

weixin_34110749

最新推荐文章于 2021-02-07 17:33:27 发布

阅读量341

点赞数

文章标签：运维大数据 python

原文链接：https://my.oschina.net/liuh1988/blog/1487974

版权

2019独角兽企业重金招聘Python工程师标准>>>

运行WordCount

1、在目录/tmp/目录下创建file1.txt、file2.txt

file1.txt输入内容

hello hadoop hi china

hello hadoop hi shanxi

file2.txt输入内容

hello world hi hadoop

2、启动HDFS后创建HDFS目录/input2:

hadoop fs -mkdir /input2

3、将file1.txt、file2.txt保存到HDFS中:

hadoop fs -put /tmp/file*.txt /input2

4、查看HDFS上是否已经存在file1.txt、file2.txt:

hadoop fs -ls /input2

表示HDFS保存文件成功

5、运行"hadoop jar XXX.jar"执行WordCount程序

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input2/ /output2/wordcount1

6、查看输出结果

hadoop fs -cat /output2/wordcount1/*

转载于:https://my.oschina.net/liuh1988/blog/1487974

优惠劵

weixin_34110749

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
[虚拟机VM][Ubuntu12.04]运行WordCount例子

2019独角兽企业重金招聘Python工程师标准>>> ...
复制链接

扫一扫

VmWare虚拟机安装Ubuntu12.04

09-15

教你轻松在VmWare虚拟机中安装Ubuntu，图文并茂，超级详细，绝对原创。如果是想装双系统，此教程也绝对试用，欢迎大家下载参考.

unbuntu虚拟机下hadoop实例wordcount的运行

nuisthou的博客

09-24

842

1.查看hadoop进程启动情况:jps。正常情况下应该有NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker 2.查看集群状态：bin/hadoop dfsadmin -report； 3.在/usr/local/hadoop/hadoop-0.20.2创建目录test，在test下创建文本file01、file02，分别

参与评论您还未登录，请先登录后发表或查看评论

Eclipse编写Word Count的JAVA程序打包到虚拟机中运行

weixin_42612042的博客

06-01

516

1.在eclipse中创建maven项目【file】-【new】-【Maven project】 2.在pom.xml中添加依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs...

基于ubuntu安装Hadoop，并运行word count

weixin_41317492的博客

06-28

2754

一．实验目的以及实验环境在Linux或者Windows下安装Hadoop并运行其中任意实例，本次试验简单运行一个wordcount 实例，选择的安装环境是在VMware Fusion 8.5.3虚拟机上，使用ubuntu来安装。以下是两个版本的截图。二．实验步骤以及运行结果截图1.首先下载vmware虚拟机并安装2.接着下载Linux套件，本实验使用ubuntu...

VMware7.1虚拟机+Ubuntu12.04搭建hadoop环境记录

05-06

小白搭建hadoop完全分布式环境笔记，步骤详细，原创

VirtualBox 虚拟机中安装 Ubuntu 12.04（图文教程）

01-11

下面介绍了VirtualBox 虚拟机中安装 Ubuntu 12.04。您可能感兴趣的文章:Ubuntu14.04虚拟机安装（图文详解）VirtualBox虚拟机安装Ubuntu详细教程(图文)VirtualBox安装Ubuntu Server16.04虚拟机的图文教程Ubuntu...

ubuntu12.04共享虚拟机上网

12-04

ubuntu12.04 server版本，虚拟机共享宿主机的无线网上网，亲测，有图。

在eclipse中编写word count的Java程序打包到虚拟机中运行

qq_44240521的博客

05-26

642

1.在eclipse中创建maven项目【file】-【new】-【Maven project】创建完成如图（新建class：WordCount_test java 程序） 2.在pom.xml中添加依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupI...

linux环境下运行Eclipse用来测试WordCount示例

03-08

linux环境下，创建eclipse的快捷方式，并且在eclipse中运行示例，查看hdfs中的文件目录

【一】hadoop单机版安装及运行wordcount

Sid小杰的博客

03-23

1982

环境ubuntu16.041.更新aptsudo apt-get update2.确保已安装JAVA如果没有请看安装步骤：Linux安装JAVA确保已安装SSH如果没有请看安装步骤：安装SSH确保已配置SSH免密码登录如果没有请看配置步骤：SSH免密码登录这里单机则是：将A公钥添加到A认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_ke...

Hadoop Day04~虚拟机中进行 wordcount计数

buzhidaoyaa的博客

09-05

390

wordcount计数 step1: 在home目录下创建文件wordcount.txt,内容如下： hello tom hello rose hello jerry hello TBL hello tom hello kitty hello rose hello TBL hello ZDP hello ZDP hello TBL step2: 在hdfs创建存放wordcount.txt文件的目...

使用命令行编译打包运行MapReduce程序

weixin_30815469的博客

05-15

206

本文地址：http://www.cnblogs.com/myresearch/p/mapreduce-compile-jar-run.html，转载请注明源地址。对于如何编译WordCount.java，对于0.20 等旧版本版本的做法很常见，具体如下： javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1....

ubuntu下hadoop运行wordcount程序

yonghutwo的专栏

03-06

4497

本机环境 ubuntu 12 hadoop 1.1.2 首先保证hadoop配置成功 1、在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件 src/examples/org/apache/hadoop/examples/WordCount.java 新建一个wordcount的文件夹，将WordCount.java拷贝至dev/wordcount文件

ubuntu16.04搭建hadoop运行WordCount

weixin_44366140的博客

02-07

340

1.解压文件到opt下 tar zxvf hadoop-2.7.2.tar.gz -C /opt 2.vi /opt/hadoop-2.7.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8.0_181 3.vi /opt/hadoop-2.7.2/etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</nam

flink wordcount

最新发布

05-10

Flink WordCount 是 Flink 的一个经典示例，用于演示 Flink 流处理的基本功能。它是一个简单的单词计数程序，可以从输入文本中读取单词，并计算每个单词在文本中出现的次数。以下是一个 Flink WordCount 的示例代码： ```java import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.source.FileSource; import org.apache.flink.streaming.api.functions.source.SourceFunction; import org.apache.flink.streaming.api.windowing.time.Time; public class WordCount { public static void main(String[] args) throws Exception { final ParameterTool params = ParameterTool.fromArgs(args); // 设置执行环境 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置数据源 DataStream<String> text; if (params.has("input")) { text = env.readTextFile(params.get("input")); } else { System.out.println("Executing WordCount example with default input data set."); System.out.println("Use --input to specify file input."); text = env.fromElements(WordCountData.WORDS); } // 转换数据流 DataStream<WordWithCount> counts = text.flatMap(new Tokenizer()) .keyBy("word") .timeWindow(Time.seconds(5)) .sum("count"); // 输出结果 if (params.has("output")) { counts.writeAsText(params.get("output")); } else { System.out.println("Printing result to stdout. Use --output to specify output path."); counts.print(); } // 执行任务 env.execute("Streaming WordCount"); } // 单词拆分函数 public static final class Tokenizer implements FlatMapFunction<String, WordWithCount> { @Override public void flatMap(String value, Collector<WordWithCount> out) { String[] tokens = value.toLowerCase().split("\\W+"); for (String token : tokens) { if (token.length() > 0) { out.collect(new WordWithCount(token, 1L)); } } } } // 单词计数类 public static final class WordWithCount { public String word; public long count; public WordWithCount() {} public WordWithCount(String word, long count) { this.word = word; this.count = count; } @Override public String toString() { return word + " : " + count; } } } ``` 该程序使用 Flink 流处理 API 来读取输入文本、拆分单词、计数单词并输出结果。程序的具体执行流程如下： 1. 读取命令行参数或默认数据源。 2. 创建 Flink 执行环境。 3. 读取数据源。 4. 转换数据流，拆分单词并计数。 5. 输出结果到文件或标准输出。 6. 执行任务。如果你想要运行 Flink WordCount 示例程序，可以按照以下步骤进行： 1. 下载 Flink 并解压。 2. 打开终端并进入 Flink 的安装目录。 3. 运行 `./bin/start-cluster.sh` 启动 Flink 集群。 4. 运行 `./bin/flink run examples/streaming/WordCount.jar --input /path/to/input/file --output /path/to/output/file`。 5. 等待程序执行完成，查看输出结果。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交