几个常见的linux里测试wordcount的jar包命令

最新推荐文章于 2020-12-13 21:02:55 发布

魂落忘川犹在川

最新推荐文章于 2020-12-13 21:02:55 发布

阅读量485

点赞数

分类专栏：大数据文章标签： wordcount

本文链接：https://blog.csdn.net/weixin_43345864/article/details/84574147

版权

大数据专栏收录该内容

71 篇文章 0 订阅

订阅专栏

运行cdh版本下的Hadoop的 jar包,最后两个路径一个是输入路径，一个输出路径，且都是hdfs上的文件，输出路径在hdfs上不能存在

hadoop jar /home/hadoop/install/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreducehadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /testfile.txt /bb

运行Apache版本下的Hadoop的 jar包

hadoop jar /usr/local/hadoop2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /aa /bb

#####运行Flink下的jar包

./bin/flink run examples/streaming/SocketWindowWordCount.jar  --port 9000

暂时就先到这些，欢迎各位来补充

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

魂落忘川犹在川

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

在Linux上安装Flink以及编写打包WordCount程序

silver1225的博客

03-28

2197

在Linux上安装Flink以及编写打包WordCount程序文章目录在Linux上安装Flink以及编写打包WordCount程序0. 预备知识1. 下载安装1.1 安装Flink1.2 检查安装是否成功_自带WordCount测试样例2. 编程实现WordCount程序2.1 安装Maven2.2 编写代码Flink程序构成WordCountTokenizer.javaWordCount.j...

【云计算】Hadoop，测试wordcount

清宵尚温的博客

11-02

1243

《云计算》课程报告课程实验题目：hadoop的测试时间：15周-18周一、课程实验目的与要求熟练掌握Linux的相关命令并会配置java环境。学会安装Hadoop并配置Hadoop的环境。深入理解MapReduce并会进行Hadoop的编程。熟练搭建平台和环境，能执行MapReduce实例，同时会使用自带工具TestDFSIO来测试I/O。二、课程实验内容 Install V...

参与评论您还未登录，请先登录后发表或查看评论

wordcount.jar

10-22

mapreduce

linux 运行wordcount.jar

javaMylife的博客

12-13

244

hdplib=`find /opt/aps/hadoop-2.8.5/ -name "*.jar" | xargs | sed 's/ /:/g'` 定义变量，拼接classPath java -cp task.jar:${hdplib} com.ws.wordcount.WordCountMap arg0arg1arg2 [root@dream4 testhdp]# find /opt/apps/hadoop-2.8.5/ -name "*.jar" /opt/apps/hadoo...

wordcount可用jar包

01-14

云计算时入门级hadoop应用，测试可以用，类名是WordCount，使用命令是hadoop jar wordcount.jar WordCount /input /output

在Windows上用Eclipse开发WordCount jar包, 并运行在hadoop上

rav009的专栏

04-18

2578

wordcount hadoop 2.8 windows

linux运行hadoop实例wordcount详解

DaiDaiHan1的专栏

02-24

1729

在服务器上配置了hadoop准备自己从wordcount.java开始到跑起wordcount程序，但是就这简单的几步遇到了很多问题，现在总结一下我碰到的问题：整个过程步骤是： 1.首先创建文件目录： mkdir Test 2.编译wordcount.java文件生成.class文件，存放在第一步创建的文件夹Test中： javac -classpath /hadoop*core*

Linux 单词计数 WordCount 以及代码案例

qq_36074043的博客

11-24

1940

WordCount 首先是命令行的： WordCount(单词计数) 1:启动hadoop 使用 start-all.sh 命令启动hdfs 2:在hadoop的安装目录下新建一个目录，使用hdfs的shell命令 cd /usr/local/hadoop-2.8.0 切换目录 hdfs fs -mkdir /input 3:h

MapReduce俩种方式实现WordCount的JAVA编程

x531280572的博客

03-06

512

MapReduce三种方式实现WordCount的JAVA编程 1.MapReduce实现（服务器内部运行jar方式） Hadoop 版本：hadoop 2.6.5 JDK 版本：jdk1.7.0_79 Zk 版本：zookeeper-3.4.6 启动环境：三台zookeeper：zkServer.sh start 全面启动Hadoop：start-dfs.sh 启动YarnH...

WordCount.jar

06-22

以WordCount为例编写相应的MapReduce程序，提供WordCount.jar部分，做相应的部署后可直接应用于MapReduce案例中

linux wc (Word Count)命令

qq_36740035的博客

08-23

571

Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。命令参数： -c 统计字节数。 -l 统计行数。 -m 统计字符数。这个标志不能与 -c 标志一起使用。 -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。 -L 打印最长行的长度。

新版API WordCount 小例及如何导入jar包

XD_122

08-16

2615

简单解析wordcount小例

Spark-shell初体验：WordCount

小9的专栏

01-04

508

安装spark 略运行spark-shell 略代码 val rdd1=sc.parallelize(List("hello","spark")) // 生成一个rdd val rdd2=sc.parallelize(List("bye","spark"))// 第二个rdd // 映射集合为(单词,1)然后并集，然后按key做归约，最后写入文件 rdd1.map(x=>

Hadoop--使用JavaAPI编写wordcount的jar包

GYT0313

11-09

3440

GitHub： 1.创建项目创建三个类： Mapper、Reducer、Main驱动类（需要导入 jar包） 2.代码 WordMapper.java： package wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWrit...

利用flink自身的WordCount.jar包本地测试