四、集群模式运行wordcount

最新推荐文章于 2021-10-19 17:37:41 发布
最新推荐文章于 2021-10-19 17:37:41 发布
阅读量175 收藏
点赞数
分类专栏： # flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38058332/article/details/108235904
版权

在保证集群运行成功的前提下

1、开启新的窗口监听9001端口

nc -l 9001

2、在新的窗口下执行任务

/usr/local/flink/flink-1.7.2/bin/flink run /usr/local/flink/flink-1.7.2/examples/streaming/SocketWindowWordCount.jar --port 9001

注意目录换成你自己的

3、在集群中查看日志

 

 

因为没有配置输入指定目录，所以就在这里找的。

 

江流。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
WordCount案例-集群运行模式
weixin_45492179的博客
11-13 2789
WordCountMapper import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class WordCountMapper exten...
Hadoop(四)MapReducer集群模式下运行WordCount的两种方式
Kruskual的博客
09-11 268
集群模式下的两种运行程序的方法：1，在命令行上提交（jar包）；2，直接在客户端提交
实验课-用集群运行自带的wordcount程序（Hadoop基础-提交wordcount应用程序）
SYITwin的博客
10-19 290
1.首先确保mapred-site.xml里面有以下配置内容： <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> <property> <name>mapreduce.map.env</name> &...
三十三、发布MapReduce程序在集群上运行之wordcount案例实施
09-17 516
环境准备： Hadoop2.6.0 IDEA maven3.5.4 MapReduce在本地已经可以正常运行，具体见： MapReduce之wordcount案例(环境搭建及案例实施)https://blog.csdn.net/m0_54925305/article/details/120155693 案例实施： 1.在原pom.xml依赖中添加集群依赖： <build> <plugins> <plugin>
Hadoop集群-WordCount运行详解
09-02
在linux环境下部署的Hadoop集群-WordCount运行详解。
Spark 最简单WordCount
05-15
博客配套文件，详细演示了本地和集群模式如何运行Spark程序，演示了一个简单wordCount程序流程。
云计算应用实验报告 武汉理工大学云计算应用 hadoop单机模式和伪分布式
02-23
3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目：输入两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的...
大数据技术之-03-Hadoop学习-Hadoop运行模式及常见错误及解决方案.docx
10-26
在伪分布式运行模式下，我们需要配置 Hadoop 集群，启动 HDFS，并执行 WordCount 案例。例如，我们可以使用以下步骤来执行 WordCount 案例： （1）配置集群，包括配置 hadoop-env.sh 和 core-site.xml 等文件。 ...
java连接sqoop源码-Hadoop-project-with-maven:设置了Hadoopmaven依赖项的JavaWordCount
06-15
WordCount 示例 这是一个练习，可帮助您安装和运行用 Java 编写的 hadoop 程序，首先在本地模式下的 IDE 中，然后在您将自己构建的 Hadoop 集群中 先决条件 IDE（eclipse 或 IntelliJ） 开发工具包 Maven 需要在您的...
Hadoop原理与技术Spark操作实验
05-24
一、实验目的 1． 理解Spark编程思想； 2． 学会在Spark Shell中编写Scala程序； 3． 学会在Spark Shell中运行Scala程序。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 ...（二）spark运行wordcount程序
Hadoop-群集启动-集群测试wordcount
TrueDei
01-30 700
有三台Vmware中创建的Centos7虚拟机. Hadoop102,Hadoop103,Hadoop104 Hadoop102 默认的 将三台从机都写进去 在hadoop102上启动 start-dfs.sh 测试 在hadoop2上传文件测试 可以看到已经上传成功了 跑一下wordcount测试 [zhenghui@hadoop102 hadoop-2.7.7]$ hadoop...
wordCount案例在集群上测试
qq_45450889的博客
12-18 229
修改Driver.java Job job = Job.getInstance(); //封装成Job对象 //指明main方法在Driver类中 job.setJarByClass(Driver.class); job.setMapOutputKeyClass(Text.class);//map输出的key的类型 job.setMapOutputValueClass(IntWritable.class); job.
Hadoop集群搭建及wordcount测试
czliuming的博客
05-05 5943
1. hadoop三种安装模式 单机模式 无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 伪分布式模式 Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。 完全分布式模式 Hadoop运行在一个真实的集群中，本文以hadoop-2.6.3为例讲解此模式配置。 2. hado
No.4大数据入门 | MR实践：WordCount之本地测试与集群运行
weixin_42385668的博客
03-13 664
上周我们搭建好了hadoop环境，接下来我们进行一些MapReduce实践。 本次测试是对一篇英文文章进行单词计数，统计每一个单词出现的总次数并输出结果。 注：图片来源：八斗学院 思路如上图： →input:文章 →将文章的每一行按照空格切分为列表.strip().split(’ ') →读取列表元素（单词） →对读取到的每一个单词进行标记word1 1 →排序相同的单词 →统计每一个单词的总...
hadoop命令行运行wordcount程序 web端监控不到作业状态
热门推荐
tangtang5156的专栏
11-06 1万+
在命令行或者是Eclipse远程连接运行Wordcount程序后，在页面8088端口号监控，始终没有变化，显示application为空。 修改集群配置文件yarn-site.xml，加上如下几句：         mapreduce.framework.name         yarn 重启运行wordcount，页面有作业显示，如下 但是作业运行失败，报错： 14/1
hadoop集群运行wordcount步骤
阿生
03-02 1821
1：准备工作安装配置hadoop集群 2：开启hadoop集群 命令start-all.sh也可以用start-dfs.sh和start-yarn.sh两条命令来完成 3：创建需要给单词计数的文件 eg：mkdir /aaa 然后建立这个文件 vim aaa/inputword 查看该文件的内容，如果没有写则自己写一段话 4：在hdfs中建立文件输入文件夹 had
Hadoop集群（第6期）_WordCount运行详解
weixin_33709364的博客
05-16 932
  1、MapReduce理论简介   1.1 MapReduce编程模型 　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTrack...
hadoop-wordcount本地模式及集群模式运行
哈哈哈哈哈哈哈
03-29 1526
前言 上一篇文章，我们利用3台云服务器搭建了一个Hadoop集群，并通过hadoop -jar命令运行了Hadoop自带的一个wordcount例子，那本片文章就通过实现一个wordcount程序，并在本地模式下运行这个程序，了解一下mapreduce编码规范，最后 再将这个jar包提交到真正的集群上运行。 Hadoop maven依赖 本想使用springboot集成的hadoop，但是发现其版...
真实集群中Flink命令行各种模式提交wordcount
微电子学与固体电子学-俞驰
06-07 1962
依然使用[1]中的代码和工程目录结构。 Reference: [1]intellij运行flink的wordcount实验
用pyspark编写wordcount
最新发布
03-31
以下是pyspark编写的wordcount示例代码： ```python from pyspark import SparkContext ...如果你想在集群上运行这个示例，你需要将文件复制到HDFS或其他可访问的分布式文件系统中，并相应地更改路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值