用scala统计单词个数一步一步详解

最新推荐文章于 2024-07-24 09:18:36 发布
最新推荐文章于 2024-07-24 09:18:36 发布
阅读量8.4k 收藏 24
点赞数 4
分类专栏： scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41804049/article/details/79655983
版权
该博客通过Scala代码详细讲解如何统计文本中单词的出现次数。首先按空格切分单词，然后使用flatMap和map操作进行数据转换，接着通过groupBy进行分组计数，并将结果排序。最后展示了三种不同的实现方式，包括直接使用mapValues和foldLeft方法来简化代码。
摘要由CSDN通过智能技术生成
val lines = List("hello tom hello jerry", "hello jerry", "hello kitty")

    

//先按空格切分

val lines_1 = lines.map(_.split(" "))

//压平

val lines_2 = lines_1.flatten


//用flatMap 两步合并成一步

val words= lines.flatMap(_.split(" ")) 


//将每一个单词映射为元组
val wordToOne = lines_3.map(x=>(x,1)）

val wordToOne = lines_3.map((_,1))


//分组

val grouped = wordToOne.groupBy

最低0.47元/天 解锁文章
风是外衣衣衣
关注
专栏目录
Scala中使用两种方式对单词进行次数统计 wordCount
jdtugfcg的博客
02-12 869
Scala中使用两种方式对单词进行次数统计 wordCount
单词统计（scala程序）
可乐联盟
11-29 583
1.创建Scala模块,并添加pom.xml    <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch...
Spark Scala简单 统计单词个数
07-16
该资源可以简单计算文本中单词个数
使用Scala语言实现单词数量统计功能
ITBOY_ITBOX博客
05-06 5317
使用Scala语言实现单词数量统计功能： List( ("Hello Scala World", 4), ("Hello World", 3), ("Hello Hadoop", 2), ("Hello Hbase", 1) ) 将上面集合中的单词统计出现次数并按照次数降序排列取前3. 方式一 object WordCount { def main(args: Array[Str...
flatMap 函数简介
最新发布
xixixixixixixi21的博客
07-24 298
flatMap 是一种用于序列处理的操作符，在许多现代编程语言如 Java、Scala 和 Python 的标准库中均有提供。它通常应用于集合数据结构上，特别是列表和迭代器等容器中。
Scala统计单词个数
BigDream
10-29 2256
package com.xiaoa.scala object Test2 { def main(args: Array[String]): Unit = { val lines = List("hello tom hello jerry", "hello kitty") val list1 = lines.flatMap(x => x.split("\\s+")...
MapReduce的核心思想与编程模型原理详解（含wordcount单词统计案例实现）
weixin_43230682的博客
08-07 2335
目录 一、MapReduce的定义 二、MapReduce的核心思想. 三、MapReduce编程模型 1. Map阶段 2. Reduce阶段 3. Map&Reduce 四、MapReduce编程指导思想（天龙八步） 1. Map阶段2个步骤 2. Shuffle阶段4个步骤 3. Reduce阶段2个步骤 五、Hadoop当中常用的数据类型 六、MapReduce编程入门之单词统计案例实现 第一步：创建maven工程并导入以下jar包 第二步：定义mapper类
Scala中集合的方法求wordCount代码解析
qq_42564058的博客
11-23 409
wordcount的详细分析 def main(args: Array[String]): Unit = { //文本拆分成多行，把多行转换成一个集合 val list: List[String] = Source.fromFile("input/word.txt").getLines().toList println(list) //flatmap 是先map再flatten //此时文本中的每一行就是一个元素，下面的下划线就是一行 //得到的结果是一个一个的单词 val wordLis.
【RabbitMQ】入门使用详解与七种模式【原创】
一直加班的程序猿
07-04 1083
详细介绍了RabbitMQ的安装、入门使用和七种模式的代码示例
代码+案例详解：使用Spark处理大数据最全指南（上）
大数据Spark教程
12-03 811
如今，有不少关于Spark的相关介绍，但很少有人从数据科学家的角度来解释该计算机引擎。因此，本文将试着介绍并详细阐述——如何运行Spark？ 一切是如何开始的呢？--- MapReduce（用于大规模数据集的编程模型） 假设我们的任务是砍伐森林中的所有树木，有两种选择： · 让戴夫·巴蒂斯塔（美国职业摔跤运动员）用电动电锯把树一棵接一棵地砍掉。 · 找500个普...
Scala中使用两种方式对单词进行次数统计(wordCount)
热门推荐
涂作权的博客
06-28 1万+
使用Scala对单词数量进行统计： 假设有单词数组： val arr = Array(“hello tom”,”hello jerry”,”hello hello”) 需要对Array中的每个单词进行统计计数。 可以使用如下方式： 方式一：scala> arr.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.
【Scala编程_7】单词统计
我的笔记
05-28 325
object prit_first { def main(args: Array[String]): Unit = { val list = List("hello you and me", "hello dalian mei", "you and hollo", "dalian and you") val word =list.flatMap(_.split(" "))/...
Scala实战案例---单词计数
CoderBoom的博客
11-28 1975
Scala Actor并发编程 [注] :Scala Actor是scala 2.10.x版本及以前版本的Actor。Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃。 1 . 什么是Scala Actor Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息的发送、接收来实现高并发的。 2. Ja...
scala单词统计
weixin_42767528的博客
11-20 516
在list集合里输入文本 scala> val lines = List(“hello tom hello jerry”, “helo jerry”,“hello kitty”) lines: List[String] = List(hello tom hello jerry, helo jerry, hello kitty) 按空格切分 scala> val n1=lines.fl...
Scala统计单词
yolkpi的博客
11-19 234
Scala代码（为了说明拆成多部,开发中不建议定义这么多变量） def wordCount():Unit = { //定义一个单词词组 val wordsList = List("i am cute","say me cute","oh you are kidding") //list中每个句子按照空格切分 val wordSplit = wordsList.map(_.split(" ")) //将list拍平成单词列表 val wordFlatten
Scala 统计文件单词数
xhl101711的专栏
08-17 962
函数原型： def foldLeft[B](z: B)(op: (B, A) => B): B = {     var result = z     this.seq foreach (x => result = op(result, x))     result   } 实现代码： val lines = Source.fromFile("E://test.txt").
用Scala进行单词计数
golden_beach的博客
10-16 2210
按照MapReduce思想，进行单词计数 1.首先声明数组 valarray=Array("you,jump","i,jump") 2.将数组按照“，”切分 scala>array.flatMap(_.split(",")) res13: Array[String] = Array(you, jump, i,jump) 3.将切割好的数组，组织成k-v的形式 scala>arra
spark scala 统计单词的个数
厚积薄发的博客
01-26 1749
spark scala 统计单词的个数 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Hello { def main(args: Array[String]): Unit = { System.setProperty("hadoop.home...
spark用scala获取单词个数最多的行的单词个数
03-23
可以使用以下代码获取单词个数最多的行的单词个数： ``` val textFile = sc.textFile("hdfs://...") val maxWords = textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b) ``` 其中，`textFile` 是一个 RDD，代表文本文件中的每一行。`map` 函数将每一行转换为单词个数，`reduce` 函数找到最大值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值