Scala中使用两种方式对单词进行次数统计 wordCount

最新推荐文章于 2022-03-29 22:04:29 发布
最新推荐文章于 2022-03-29 22:04:29 发布
阅读量918 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jdtugfcg/article/details/87865395
版权
本文介绍如何在Scala中对单词进行计数，提供了两种方法。第一种通过flatMap、split、map和groupBy组合操作，第二种利用mapValues和foldLeft进行数组求和。详细解释了每一步的操作，适合初学者理解。
摘要由CSDN通过智能技术生成
                       

使用Scala对单词数量进行统计：
假设有单词数组：
val arr = Array(“hello tom”,”hello jerry”,”hello hello”)
需要对Array中的每个单词进行统计计数。
可以使用如下方式：
方式一：

scala> arr.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.size))res1: scala.collection
最低0.47元/天 解锁文章
这个脑子不好使的
关注
Scala中使用两种方式对单词进行次数统计(wordCount)
涂作权的博客
06-28 1万+
使用Scala对单词数量进行统计： 假设有单词数组： val arr = Array(“hello tom”,”hello jerry”,”hello hello”) 需要对Array中的每个单词进行统计计数。 可以使用如下方式： 方式一：scala> arr.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.
用Scala进行单词计数
golden_beach的博客
10-16 2210
按照MapReduce思想，进行单词计数 1.首先声明数组 valarray=Array("you,jump","i,jump") 2.将数组按照“，”切分 scala>array.flatMap(_.split(",")) res13: Array[String] = Array(you, jump, i,jump) 3.将切割好的数组，组织成k-v的形式 scala>arra
Scala 统计字符串中单词出现的次数
chmb96468的博客
01-21 3134
/** * 统计字符串中单词出现的次数 * @param str */ def countWords(str: String) = { var map = Map.empty[String, Int] for(word <- str.split("...
Scala统计单词出现的频次
数据搬运工
03-31 1576
用Scala统计单词出现的频次，其中到的方法有： map, flatMap, split, groupBy, mapValues, reduce, sum, foldLeft… 使用Scala WorkSheet，是一次很好的综合练习。 /*练习：统计出list中单词出现的频次*/ val list = List("hello world","hello guangzhou","hello she...
大数据(十二) --使用MapReduce和SparkCore技术实现单词统计(WorldCount)案例
七宝.博客
11-21 1626
WorldCount案例示例数据需求分析计算分析MapReduce实现SparkCore实现 示例数据 需求分析 计算分析 MapReduce实现 SparkCore实现
java spark 单词统计_Spark入门（三）--Spark经典的单词统计
weixin_36338765的博客
02-24 636
spark经典之单词统计准备数据既然要统计单词我们就需要一个包含一定数量的文本，我们这里选择了英文原著《GoneWithTheWind》(《飘》)的文本来做一个数据统计，看看文章中各个单词出现频次如何。为了便于大家下载文本。可以到GitHub上下载文本以及对应的代码。我将文本放在项目的目录下。首先我们要读取该文件，就要用到SparkContext中的textFile的方法，我们尝试先读取第一行。s...
Spark入门第一步：WordCount之java版、Scala版
趣学程序
10-27 414
Spark入门第一步：WordCount之java版、Scala版 Spark入门系列，第一步，编写WordCount程序。 我们分别使用java和scala进行编写，从而比较二者的代码量 数据文件 通过读取下面的文件内容，统计每个单词出现的次数 java scala python android spark storm spout bolt kafka MQ elasticsearch lo...
Spark Core：Scala单词计数
一顿吃不饱的博客
11-11 3008
Spark Core：Scala单词计数 1、实验描述 利用Scala语言开发Spark WordCount程序 实验时长： 45分钟 主要步骤： 创建spark项目 编写wordcount 示例程序 运行Scala 程序 查看实验结果 2、实验环境 虚拟机数量：3(一主两从，主机名分别为：master、slave01、slave02) 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Spark版本：Apache Spark 2.1.1 JDK 版本：1.8.
spark之scala程序开发(本地运行模式)：单词出现次数统计
weixin_30680385的博客
02-07 467
准备工作： 将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G，因为需要在该节点上跑本地(local)Spark程序，本地Spark程序会启动Worker进程耗用大量内存资源 本地运行模式(主要用于调试) 1、首先将Spark的所有jar包拷贝到hadoop用户家目录下 [hadoop@CloudDeskTop spark-2.1.1]$ pwd ...
Scala入门方法使用小案例(单词统计次数)
fqc的博客
12-14 641
首先创建一个数组,其中存储三个字符串 val words: Array[String] = Array("Spark,hadoop,Flink,spark","spark,Hadoop,flink,Hive,clickHouse","flink,hive,clickHouse,spark,zooKerPer,hive") 将字符串切割开,并将内部的小数组打开 val wordsArray: Array[String] = words.flatMap(l =>l.spli
scala 两种方法实现单词计数
xiao_jun_0820的专栏
10-22 8535
val lines = List("hello world", "hello spark") val wordlist = lines.flatMap(line => line.split(" ")).map(word => (word, 1)) //方法一：先groupBy再map wordlist.groupBy(_._1).map { case (word
使用scala语言实现wordcount程序
weixin_43740680的博客
07-28 727
使用scala语言实现wordcount（统计单词出现的次数）： object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop hive spark scala","spark hive habase", "hive spark java") //数据转换 ...
scala:word count 单词计数
Shixuefeng2410的博客
02-28 651
创建maven工程，导入jar包： <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <
Scala应用篇二：读取同一文件夹中的所有文件，并统计文件中各单词出现频率（spark）
qq_50868643的博客
03-29 3434
Scala词频统计！！
用scala统计单词个数一步一步详解
我的博客
03-22 8410
val lines = List("hello tom hello jerry", "hello jerry", "hello kitty")    //先按空格切分val lines_1 = lines.map(_.split(" "))//压平val lines_2 = lines_1.flatten//用flatMap 两步合并成一步val words= lines.flatMap(_.sp...
scala统计一个文件夹下面所有文件的单词出现的总次数
伏虎游侠的博客
05-12 2366
import java.io.File import scala.io.Source class WorldCount {   var map = Map.empty[String, Int]   def scanDir(file: File) {     file.listFiles().foreach { f => if (f.isFile()) readFile(f) }  
使用Scala语言实现单词数量统计功能
ITBOY_ITBOX博客
05-06 5319
使用Scala语言实现单词数量统计功能： List( ("Hello Scala World", 4), ("Hello World", 3), ("Hello Hadoop", 2), ("Hello Hbase", 1) ) 将上面集合中的单词统计出现次数并按照次数降序排列取前3. 方式一 object WordCount { def main(args: Array[Str...
使用Scala语言完成wordcount（单词计数）例子的编码及测试
最新发布
06-09
下面是使用Scala语言完成wordcount例子的编码及测试的示例代码： ```scala object WordCount { def main(args: Array[String]): Unit = { val input = "Hello world, I am learning Scala. Scala is a powerful ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值