wordCount的认识（scala版）

最新推荐文章于 2022-05-07 14:52:57 发布
最新推荐文章于 2022-05-07 14:52:57 发布
阅读量419 收藏
点赞数
分类专栏： WordCount 文章标签： WordCount
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wowSpark/article/details/50240571
版权 
val line = sc.textFile("/usr/local/word.txt");
line.flatMap(_.split(" "))
.map((_, 1)).reduceByKey(_ + _)
.collect().foreach(println)

1、通过textFile(“path/of/the/document”)
2、通过flatMap(_.split(” “))将数据按照 “ ”空格切分数据
3、通过map(( _ , 1)) 将每一条数据记录为1
4、通过reduceByKey( _ + _ ) 将数据按照key 进行数据的累加
5、collect() 执行统计操作
6、foreach(println)按照key分组dayin

kill -9
关注
专栏目录
Scala-代码实现WordCount案例
SmallScorpion
04-11 582
需求 // 单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果 val stringList = List("Hello Scala Hbase kafka", "Hello Scala Hbase", "Hello Scala", "Hello") 需求分析 代码实现 def main(args: Array[String]): Unit = { // 单词计数：将集...
Scala中集合的方法求wordCount代码解析
qq_42564058的博客
11-23 415
wordcount的详细分析 def main(args: Array[String]): Unit = { //文本拆分成多行，把多行转换成一个集合 val list: List[String] = Source.fromFile("input/word.txt").getLines().toList println(list) //flatmap 是先map再flatten //此时文本中的每一行就是一个元素，下面的下划线就是一行 //得到的结果是一个一个的单词 val wordLis.
Scala 版 word count
12-05 676
package com.oracle.scala import org.apache.spark.SparkConf import org.apache.spark.SparkContext /** * WordCount示例 */ object WordCount { def main(args: Array[String]): Unit = { //创建SparkConf
wordcount代码_Scala小案例之wordcount
weixin_39532019的博客
12-12 261
写一个简单的word文档：scala实现wordcount代码如下：import org.apache.spark.rdd.RDDimport org.apache.spark.SparkConfimport org.apache.spark.SparkContext/** * wordcount */ object WordCount { def main(args: Array[String...
Scala版WordCount
ZZJXP的博客
05-07 578
object Demo12List { def main(args:Array[String]): Unit ={ /** * List列表 * 特点：元素可以重复、有序的、不可变的 */ //定义一个List val list1: List[Int] = List[Int](1, 2, 1, 2, 3, 5, 7, 3, 4, 6, 4, 9, 8) println(list1) //通过下标(index,索引)取元素 .
010-spark standalone模式Scala版本WordCount代码
艾文
09-01 1212
spark standalone模式WordCount代码计算，通过maven，scala2.10.5
WordCount的Scala实现
qq_39542702的博客
12-05 249
话不多看代码println("***********test********************") val lines=List("hello tom hello jerry","hello ketty hello cat"); println(lines) val words=lines.map(_.split(" ")).flatten println(w
scala一行代码实现经典实例wordcount
放肆桀骜
05-21 1196
原始代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WorldCount { def main(args: Array[String]): Unit = { val conf =new SparkConf() //设置本地运行 ...
wordcount代码(spark,flink_streaming,flink_batch)
weixin_43813200的博客
09-01 111
package com.xxx.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WorkCount extends App{ private val conf = new SparkConf() conf.setMaster("local").setAppName("wc") private val sparkContext = new SparkCo
【Scala】使用Scala程序实现WordCount--词频统计（代码）
wyz0516071128的博客
07-16 7790
这个代码实现的统计单词出现的次数：object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop hive spark scala","spark hive habase", "hive spark java") //数据转换 val mappedWord...
用scala写wordcount
zhanggf的博客
01-11 9881
笨人勤总结，忘了再捡起来。 1.scala一些预热操作 1.1 to 是一个方法，（）可以进行 参数传递，map（）把每一个元素取出来进行相应的操作， print(1.to(10).map(_*10)) 结果 Vector(10, 20, 30, 40, 50, 60, 70, 80, 90, 100)1.2取数组中的每一个值 val arr=Array(1
纯手写一个spark应用程序：WordCount（Scala 代码实现）
qq_22230709的博客
08-20 1763
在maven项目中的pom.xml配置文件中添加spark相应的组件 <!-- 会自动加载所有相关的库 --> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11...
Scala 实现 WordCount
别下完这场雪
05-26 998
Scala 不得不说非常灵活方便，只是语法相较Java比较复杂 下面看一下Scala 如何实现 wordcount
使用Scala编写WordCount详细分析
Hao Ming
10-23 6494
对于初学者来说写好一个scala的wordcount也是一个不容易的事情，一下是对两个方面来写一下scala中的Wordcount 数据的使用： hello hive good mand good mand good good mand hello hive 完整代码的编写： import scala.io.Source object TestWorldCount {
scala版本wordcount的几种写法
allen的博客
03-09 4271
今天看了下scala写的wordcount可以一行搞定，但是感觉有点费脑！写了几种方式：第一种：代码如下所示，其中先对list进行map操作并以空格切分，变成:list(list(“hello”,”world”),list(“word”,”count”),list(“hello”,”hello”,”lijie”),list(“lalala”,”lijie”)),然后对上面的list进行flatten
Scala集合实现WordCount代码实现
学亮编程手记
04-17 745
实现思路分析 代码实现 package com.zxl.chapter10 /** * 使用scala集合实现WordCount */ object Scala09_WordCount { def main(args: Array[String]): Unit = { val list: List[(String, Int)] = List(("Hello Scala Wo...
使用scala实现wordcount的简单计数
清纯玉面可爱小郎君
06-10 2257
package wordCount import scala.actors.{Actor, Future} import scala.collection.mutable.ListBuffer import scala.io.Source /** * Created by Adminstrator on 2017/6/10. */ class MyActorWC extends Ac
使用Scala实现worldcount功能
csp75739的博客
07-29 905
新建ScalaWorldCount对象： package com.ruozedata.day4 object ScalaWorldCount { def main(a...
wordcount（包含java版和Scala版）
wyqwilliam的博客
07-19 626
Java版的Wordcount package com.bjsxt.scala; import java.util.Arrays; import javax.sound.sampled.Line; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apac...
spark的wordcount代码scala
最新发布
03-16
以下是Spark的WordCount代码（Scala版本）： ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { // 创建SparkConf对象 val conf = new SparkConf().setAppName("WordCount").setMaster("local") // 创建SparkContext对象 val sc = new SparkContext(conf) // 读取文件 val lines = sc.textFile("input.txt") // 切分单词 val words = lines.flatMap(_.split(" ")) // 统计单词出现次数 val wordCounts = words.map((_, 1)).reduceByKey(_ + _) // 输出结果 wordCounts.foreach(println) // 关闭SparkContext sc.stop() } } ``` 这个代码实现了一个简单的WordCount程序，它读取一个文本文件，统计文件中每个单词出现的次数，并输出结果。具体的实现过程如下： 1. 创建SparkConf对象，设置应用程序名称和运行模式（本地模式）。 2. 创建SparkContext对象，它是Spark程序的入口点。 3. 读取文件，使用textFile方法读取指定路径下的文本文件，并返回一个RDD对象。 4. 切分单词，使用flatMap方法将每行文本切分成单词，并返回一个包含所有单词的RDD对象。 5. 统计单词出现次数，使用map方法将每个单词映射为一个键值对（单词，1），然后使用reduceByKey方法对相同键的值进行累加，最终返回一个包含每个单词出现次数的RDD对象。 6. 输出结果，使用foreach方法遍历RDD对象中的每个元素，并将其打印到控制台上。 7. 关闭SparkContext对象，释放资源。 以上就是Spark的WordCount代码（Scala版本）的实现过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值