linux云服务器实现wordcount案例

最新推荐文章于 2023-09-11 09:48:45 发布
最新推荐文章于 2023-09-11 09:48:45 发布
阅读量1.2k 收藏 3
点赞数 1
分类专栏： linux云服务器 Hadoop大数据平台 文章标签： 服务器 linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44999258/article/details/122314318
版权
  1. 在hadoop安装目录下创建wcinput文件夹mkdir input
  2. 在input文件夹下创建文件touch wc.input
  3. 在 wc.input文件内添加文本内容vi wc.input
hadoop yarn
hadoop mapreduce
atguigu
atguigu
  1. 在hadoop安装目录下执行wordcount程序hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount wcinput wcoutput
  2. 可以在输出文件夹wcoutput内，找到输出结果
[root@iZbp1fuss5tg7yiacreowzZ wcoutput]# cat part-r-00000
atguigu 2
hadoop  2
mapreduce       1
yarn    1

此结果即表示在输入文件夹wcinput内，atguigu和hadoop字符出现的次数为2，mapreduce和yarn出现的次数为1

孟意昶
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
（Linux）Hadoop运行WordCount实例
魚
05-28 1153
1 hadoop文件上传和脚本 提示：本人默认的Hadoop装在/usr/lib/hadoop 目录下. 1 在hdfs上创建目录/input hadoop fs -mkdir /input 2 在本地创建目录/home/temp mkdir /home/yuz 3 在目录/home/temp里面创建文本文件1.txt (自己添加内容即可) vim 1.txt 4 将1.txt上传至hd...
大数据：以Linux脚本实现 Map Reduce 的运用 —— 以wordCount为例
博樽
06-07 758
用Linux脚本实现 MapReduce —— 以wordCount为例
在Linux环境实现wordcount：mapper，reducer的代码创建，脚本实现map，reduce
博樽
10-22 669
数据准备、map创建的初始、在map.py基础下创建red.py、map.py 重修版、用脚本run.sh 一步到位 执行map.py与red.py。
Linux命令200例：wc用于统计文本文件中的字数、行数和字符数（常用）
GitHub质检员
09-11 1964
wc（word count）是Linux下面一个用于统计文本文件中的字数、行数和字符数的命令。它常用于查看文件的基本信息，也可以与其他命令配合使用进行文本处理。本文详细介绍了wc命令的基本用法及常见选项，并给出了八个实际应用案例。通过学习这些示例，你可以更好地利用wc命令进行文本统计和处理。希望这篇文章对你有所帮助！推荐你阅读本专栏Linux命令大全，以便更深入地理解和应用这些命令。
linux运行wordcount,hadoop运行第一个实例wordcount
weixin_36346970的博客
05-11 468
引语：这几周事情比较多，两周没写博客了，这周总算把hadoop的实例给运行起来，然后跑了一下官方的wordcount例子(用于统计文件中单词出现的次数)。接下来是我成功运行实例的记录。运行的前提是安装配置好hadoop(可以参考我上一篇博客：hadoop伪分布式安装记录)运行步骤：1.先准备一个包含单词的文件，然后将这个文件上传到linux服务器上。文件内容:hello world hello h...
使用hadoop实现WordCount实验报告.docx
06-10
使用hadoop实现WordCount详细实验报告，配有环境变量配置截图以及实验运行及结果详细过程描述与截图
Spark：用Scala和Java实现WordCount
03-03
用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java）OS:RedHatEnterpriseLinuxServerrelease6.4...
大数据HelloWorld-Flink实现WordCount
10-16
主要介绍了大数据HelloWorld-Flink实现WordCount的相关知识，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
Spark-通过 API实现WordCount案例的数据集和jar包
07-12
下载资料后，免费获取数据集和jar包
Linux上运行WordCount单词统计程序
czy的博客
10-16 890
本次在Linux上运行WordCount程序，因为在Eclipse上运行会涉及到很多配置问题，在Linux上运行就方便很多，时候初学者。本次单词程序分为三个Java文件：主函数WordCount.java、Mapper类WCMapper.java、Reducer类WCReducer。新建一个package，下面放建立这三个class文件。 MapReduce实现的大致流程为： 主函数Wo...
linux环境下运行Eclipse用来测试WordCount示例
03-08
linux环境下，创建eclipse的快捷方式，并且在eclipse中运行示例，查看hdfs中的文件目录
第二章：《RDD编程实例之 实验报告》
weixin_45014721的博客
11-19 1002
1.函数式编程实例WordCount 任务：按照函数式编程的风格，编写一个程序，对某个目录下所有文件中的单词进行词频统计 做法：请进入Linux系统，打开“终端”，进入Shell命令提示符状态，然后，在“/usr/local/scala/mycode”目录下，新建一个wordcount子目录，并在“/usr/local/scala/mycode/wordcount”目录下新建两个包含了一些语句的文本文件word1.txt和word2.txt（你可以在文本文件中随意输入一些单词，用空格隔开），我们会编写Sca
基于Hadoop的WordCount案例实现（Linux版本）
围炉夜敲的博客
10-09 5906
基于Hadoop的WordCount案例实现（Linux版本） 注意事项 准备工作 统计文本 软件 具体步骤 使用Xsehll连接虚拟机 创建本地存放文件目录 使用Xftp导入统计文本 在HDFS文件系统中创建统计文本数据输入目录 向输入目录传输统计文本 使用Hadoop自带的MapReduce编程模型进行统计运算 查看程序运行结果并导出文件 删除HDFS中output目录中的内容
【3天掌握Spark】--RDD概念及WordCount案例
weixin_48143996的博客
05-21 356
Spark之RDD RDD 概念 对于大量的数据，Spark 在内部保存计算的时候，都是用一种叫做弹性分布式数据集（ResilientDistributed Datasets，RDD）的数据结构来保存的，所有的运算以及操作都建立在 RDD 数据结构的基础之上 在Spark框架中，将数据封装到集合中：RDD，如果要处理数据，调用集合RDD中函数即可。 （论文找不到想看的私我私我私我） 也就是说RDD设计的核心点为： RDD（Resilient Distributed Dataset）叫做弹性分布式数据集
Spark中WordCount案例实操（linux上直接运行）上篇
Queen0809的博客
04-23 266
编写程序（linux上运行） 1.新建一个maven工程 1.1 建好后，在项目上右击 --> Add Framework Support --> 勾选scala 1.2 在src/main下新建一个directory （scala）–> 点击scala,右键 --> Mark Directory AS --> Sources Root 2.日志文件配置（设置只打印Error级别的日志） 2.1 在src/main/resources下新建 --> File（名为log4
Spark中WordCount案例实操（linux上直接运行）下篇
Queen0809的博客
05-07 289
6.打包jar包 6.1 点击Maven --> package 生成jar包 6.2 选择不带有依赖的jar包，因为linux系统中有相关环境，如果没有，则选择带有依赖的jar包 6.3 将jar包上传到linux系统上（我上传到了/opt/module/spark-yarn/WordCount.jar） 7. 编译spark代码进行运行 7.1模板 bin/spark-submit –calss idea中的含有main方法的完整名字 –master 选择运行模式 –deploy-mode
Spark RDD编程 文件数据读写
晓晓的天空
03-13 3028
Spark RDD编程 文件数据读写
官方WordCount案例以及自己的实际操作
ABU_MOlI_ITUI的博客
01-19 5919
官方WordCount案例： 1. 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹 [atguigu@hadoop101 hadoop-2.7.2]$ mkdir wcinput 2. 在wcinput文件下创建一个wc.input文件 [atguigu@hadoop101 hadoop-2.7.2]$ cd wcinput [atguigu@hadoop101 wc...
hadoop-wordcount后找不到wcoutput
yuantuiwan3221的博客
06-04 994
用hadoop fs
spark实现wordcount案例
最新发布
09-19
Spark实现WordCount案例是一种经典的大数据处理案例，主要用于统计文本中每个单词出现的次数。具体实现步骤如下： 1. 读取文本文件：使用Spark的API读取文本文件，将文本文件中的每一行作为一个RDD的元素。 2. 切分单词：对于每个RDD元素，使用split函数将其切分成单词，得到一个新的RDD。 3. 映射为键值对：对于新的RDD，使用map函数将每个单词映射为一个键值对，其中键为单词，值为1。 4. 聚合统计：使用reduceByKey函数对键值对进行聚合统计，得到每个单词出现的次数。 5. 输出结果：使用foreach函数将统计结果输出到控制台或者保存到文件中。 以上就是Spark实现WordCount案例的基本步骤，通过这个案例可以深入了解Spark的RDD编程模型和基本操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孟意昶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值