Scala编写WordCount程序

最新推荐文章于 2021-09-15 22:17:32 发布
VIP文章 最新推荐文章于 2021-09-15 22:17:32 发布
阅读量485 收藏 2
点赞数
分类专栏： 大数据 文章标签： scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengzhigang1998/article/details/107681116
版权

首先对于给定的一个List数组

val list = List("rose is beautiful","jennie is beautiful","lisa is beautiful","jisoo is beautiful")
    /**
      * 第一步，将list中的元素按照分隔符这里是空格拆分，然后展开
      * 先map(_.split(" "))将每一个元素按照空格拆分
      * 然后flatten展开
      * flatmap即为上面两个步骤的整合
      */
    val res0= list.map(_
最低0.47元/天 解锁文章
少年惨绿
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scala写的第一个wordcount例子
03-21
自己学习scala语言写的一个单词计数的例子，很好的用到了函数式编程思想，分享给大家共同学习。
第三次作业-用scala写一个wordcount程序
qq_24990561的博客
12-15 247
第一：用scala写一个wordcount程序 ***package com.scala.wordcount object wordcountApp { def main(args: Array[String]): Unit = { //造一个List,模拟读取文件 val wordlist= List("hello scala","hello word&amp
Spark实战-用Scala编写WordCount程序
Movle
05-19 3724
一.添加pom依赖： pom.xml <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId>
Scala-代码实现WordCount案例
SmallScorpion
04-11 547
需求 // 单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果 val stringList = List("Hello Scala Hbase kafka", "Hello Scala Hbase", "Hello Scala", "Hello") 需求分析 代码实现 def main(args: Array[String]): Unit = { // 单词计数：将集...
wordcount代码_Scala小案例之wordcount
weixin_39532019的博客
12-12 236
写一个简单的word文档：scala实现wordcount代码如下：import org.apache.spark.rdd.RDDimport org.apache.spark.SparkConfimport org.apache.spark.SparkContext/** * wordcount */ object WordCount { def main(args: Array[String...
使用Scala设计WordCount程序
12-26
使用Scala设计WordCount程序 软件环境: hadoop-2.6.5.tar.gz spark-1.6.2-bin-hadoop2.6.tgz scala-2.10.4.gz scala-SDK-4.0.0-vfinal-2. 11-linux.gtk.x86_64.tar.gz
Scala编写及常见异常
03-24
Scala编写及常见异常
Metascala:用Scala编写的JVM
05-12
用Scala编写并编译为，Metascala JVM需要主机JVM才能运行。 Metascala的目标是创建一个可以测试JVM的平台：用Scala编写的3000行JVM可能比组成 （标准实现）的100万行C / C ++更容易实现，并且更易于实现乐趣。诸如...
Spark：用Scala和Java实现WordCount
03-03
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。用Scala和Java实现WordCount，其中Java实现的Java...
在IDEA中使用Scala语言编写WordCount程序
while false
10-11 2080
1.使用IDEA创建Maven项目 2.导入pom.xml文件 &lt;properties&gt; &lt;maven.compiler.source&gt;1.8&lt;/maven.compiler.source&gt; &lt;maven.compiler.target&gt;1.8&lt;/maven.compiler.target&gt; ...
用scala写一个wordcount程序
qq_24990561的博客
12-22 735
在终端目录/Users/liujingmao/Downloads创建一个文件scala_wordcount，文件包含以下words hello word hello word you and me you and me hello word cat dog cat dog and me you and his miss 在idea中创建一个scala_project,并创建一个Wor...
在IDEA中用Scala编写WordCount程序并且上传到集群中运行
weixin_43866709的博客
03-16 1565
工具：IDEA，spark集群 一.安装IDEA 安装及破解过程请参考：https://blog.csdn.net/weixin_43866709/article/details/88593704 二.程序 打开IDEA，新建一个maven工程 点击next，继续 填写项目组织名和项目名，点击next继续。。。 组织名例如：com.baidu.spark 项目名例如：SparkTest 然后...
Scala实现wordcount程序
蚂蚁
07-26 673
object WordCount { def main(args: Array[String]): Unit = { val lineList = List( "hadoop hive spark hadoop java", "spark java sqool hive", "hadoop hive spark java" ) /...
Spark 运行第一个Scala程序WordCount
热门推荐
charming的专栏
04-13 2万+
安装 首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系，我自己装的Hadoop 2.7.5版本，按照下面方式下载即可。 下载完成后，解压安装包至路径/usr/local tar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.3.0-bin-had...
scala的wordcount程序
qq_43296870的博客
01-08 200
goods.txt 13059 2019-12-23 06:12:29 15281 2019-12-23 06:12:29 14905 2019-12-23 06:12:29 14622 2019-12-23 06:12:29 19817 2019-12-23 06:12:29 13009 2019-12-23 06:12:29 14572 2019-12-23 06:12:29 1...
作业3：用Scala完成wordCount操作
烙痕丷的博客
07-23 486
源数据： hello hive good mand good mand good good mand hello hive 源码： package com.ruozedata import scala.io.Source object wordCount { def main(args: Array[String]): Unit = { val b = Source.fr...
一篇看懂：IDEA 使用scala 编写wordcount程序 并生成jar包 实测
fatfatmomo的博客
04-01 584
准备工作： 此时在你的PC上，你的JDK应该已经安装配置好JDK1.8版本。 ①首先官网下载IDEA(建议Ultimate版) https://www.jetbrains.com/idea/download/#section=windows ②从 http://idea.lanyus.com/ 获得注册码或其他各种方式破解(个人用学生版，未测试过这些网站) ③打开IDEA，安装sbt和sc...
IntelliJ IDEA 三种方式创建scala工程+Word Count示例
sinat_23854139的博客
01-15 1253
测试了最简单的WordCount示例，所以三种方法工程应用的深层特征和便利体会不深，只是简单从创建工程角度总结一下。Maven+scala最繁琐，需要添加配置信息；sbt工程一步到位，但是由于服务器在境外，等待时间有时较长；idea工程最是快捷简便。此外，三种方法都需要手动添加或确认依赖。
Spark2.4.8编写WordCount程序（Scala版）
若兰幽竹
09-15 1389
Spark2.4.8编写WordCount程序（Scala版）一、本地开发运行测试二、打包上传至远程服务器 一、本地开发运行测试 新建maven工程 在pom.xml中添加spark相关依赖： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifact
spark编写分布式程序
最新发布
06-08
在 Spark 中编写分布式程序，可以使用 Scala、Java、Python 等语言进行编写。以下是使用 Scala 编写 Spark 分布式程序的步骤： 1. 创建 SparkConf 对象，设置 Spark 的一些基本配置，如应用名称、Master 地址等。 2. 创建 SparkContext 对象，该对象是 Spark 应用程序的入口点，包括了 Spark 的所有功能。 3. 加载数据，可以从本地文件系统、HDFS、Hive 等数据源中加载数据。 4. 对数据进行转换和操作，如过滤、排序、计算等。 5. 对数据进行缓存，提高程序的性能。 6. 对数据进行聚合和统计，如计算平均值、最大值等。 7. 对数据进行输出，可以输出到文件系统、数据库等。 8. 关闭 SparkContext 对象，释放资源。 以下是一个简单的 Spark 分布式程序示例，使用 Scala 编写： ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount").setMaster("local") val sc = new SparkContext(conf) val input = sc.textFile("hdfs://input") val words = input.flatMap(line => line.split(" ")) val counts = words.map(word => (word, 1)).reduceByKey(_ + _) counts.saveAsTextFile("hdfs://output") sc.stop() } } ``` 该程序实现了对输入文件中的单词进行计数，并将结果输出到输出文件中。通过使用 Spark 的 API，实现了对数据的分布式处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值