Scala入门方法使用小案例(单词统计次数)

最新推荐文章于 2024-06-16 22:15:00 发布

fqcbb

最新推荐文章于 2024-06-16 22:15:00 发布

阅读量662

点赞数

文章标签： scala

本文链接：https://blog.csdn.net/fqcbb/article/details/111187644

版权

首先创建一个数组,其中存储三个字符串

    val words: Array[String] = Array("Spark,hadoop,Flink,spark","spark,Hadoop,flink,Hive,clickHouse","flink,hive,clickHouse,spark,zooKerPer,hive")

将字符串切割开,并将内部的小数组打开

    val wordsArray: Array[String] = words.flatMap(l =>l.split(","))

wordsArray: Array[String] = Array(Spark, hadoop, Flink, spark, spark, Hadoop, flink, Hive, clickHouse, flink, hive, clickHouse, spark, zooKerPer, hive)

按单词分组,并将大写转小写

    val wordGb: Map[String, Array[String]] = wordsArray.groupBy(a=>a.toLowerCase)

wordGb: Map[String,Array[String]] = Map(zookerper -> Array(zooKerPer), flink -> Array(Flink, flink, flink), hadoop -> Array(hadoop, Hadoop), spark -> Array(Spark, spark, spark, spark), hive -> Array(Hive, hive, hive), clickhouse -> Array(clickHouse, clickHouse))

将元组中的数组统计数量

    val word: Map[String, Int] = wordGb.map(t=>(t._1, t._2.length))

word: Map[String,Int] = Map(zookerper -> 1, flink -> 3, hadoop -> 2, spark -> 4, hive -> 3, clickhouse -> 2)

排序  可以用-号 也可以反转reverse

    val wordPx: List[(String, Int)] = word.toList.sortBy(t=> -t._2)

wordPx: List[(String, Int)] = List((spark,4), (flink,3), (hive,3), (hadoop,2), (clickhouse,2), (zookerper,1))

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fqcbb

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

java spark 单词统计_Spark入门（三）--Spark经典的单词统计

weixin_36338765的博客

02-24

672

spark经典之单词统计准备数据既然要统计单词我们就需要一个包含一定数量的文本，我们这里选择了英文原著《GoneWithTheWind》(《飘》)的文本来做一个数据统计，看看文章中各个单词出现频次如何。为了便于大家下载文本。可以到GitHub上下载文本以及对应的代码。我将文本放在项目的目录下。首先我们要读取该文件，就要用到SparkContext中的textFile的方法，我们尝试先读取第一行。s...

Scala中使用两种方式对单词进行次数统计 wordCount

jdtugfcg的博客

02-12

889

Scala中使用两种方式对单词进行次数统计 wordCount

参与评论您还未登录，请先登录后发表或查看评论

用Scala语言完成一个简单的词频统计- Word Count；新手入门案例，原创！！

li793829630的博客

06-11

1881

用Scala语言完成一个简单的词频统计- Word Count；新手入门案例！！代码先准备一个简单的数据：路径：C:\Users\Administrator\Desktop\work\hello.txt 内容：hello world hello world hello world hello world 然后用Scala 完成对这个文件的词频统计内容如下： def main(args: Array[String]) { /** 非常非常好看，易懂，每秒，原创的注释 * 1 :List(t

Scala统计单词出现的频次

数据搬运工

03-31

1609

用Scala统计单词出现的频次，其中到的方法有： map, flatMap, split, groupBy, mapValues, reduce, sum, foldLeft… 使用Scala WorkSheet，是一次很好的综合练习。 /*练习：统计出list中单词出现的频次*/ val list = List("hello world","hello guangzhou","hello she...

Scala 统计字符串中单词出现的次数

chmb96468的博客

01-21

3159

/** * 统计字符串中单词出现的次数 * @param str */ def countWords(str: String) = { var map = Map.empty[String, Int] for(word <- str.split("...

Scala中使用两种方式对单词进行次数统计(wordCount)

热门推荐

涂作权的博客

06-28

1万+

使用Scala对单词数量进行统计：假设有单词数组： val arr = Array(“hello tom”,”hello jerry”,”hello hello”) 需要对Array中的每个单词进行统计计数。可以使用如下方式：方式一：scala> arr.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.

spark之scala程序开发(本地运行模式)：单词出现次数统计

weixin_30680385的博客

02-07

489

准备工作：将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G，因为需要在该节点上跑本地(local)Spark程序，本地Spark程序会启动Worker进程耗用大量内存资源本地运行模式(主要用于调试) 1、首先将Spark的所有jar包拷贝到hadoop用户家目录下 [hadoop@CloudDeskTop spark-2.1.1]$ pwd ...

Scala统计单词个数

BigDream

10-29

2290

package com.xiaoa.scala object Test2 { def main(args: Array[String]): Unit = { val lines = List("hello tom hello jerry", "hello kitty") val list1 = lines.flatMap(x => x.split("\\s+")...

Spark入门实战：Scala开发环境配置与WordCount案例

WordCount是一个基础但重要的大数据处理任务，它统计文本中每个单词出现的次数。这个例子有助于初学者理解Spark如何处理分布式数据，以及如何使用Scala编写Spark作业。在Spark中，可以使用RDD（弹性分布式数据集）来...

Scala编程实战 —— 一文学会编码大数据基础案例wordcount

春和的博客

05-16

2475

使用scala编写代码实现spark的基础案例 WordCount wordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写这主要是对scala集合中功能函数的熟悉与使用

大数据开发语言Scala入门

weixin_42132035的博客

06-16

1397

Scala是一种运行在Java虚拟机（JVM）上的编程语言，它既支持面向对象编程，也支持函数式编程。Scala的设计目标是实现可扩展性（Scalability），因此得名Scala。它与Java有着良好的互操作性，可以无缝地使用Java的类库和工具。Scala中可以定义函数，函数可以作为值传递。x + yScala作为一种多范式编程语言，结合了面向对象和函数式编程的优点，非常适合大数据处理。通过本文的介绍，希望读者能够对Scala有一个初步的了解，并能够开始尝试使用Scala进行大数据开发。

【Scala】使用Scala程序实现WordCount--词频统计（代码）

wyz0516071128的博客

07-16

7841

这个代码实现的统计单词出现的次数：object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop hive spark scala","spark hive habase", "hive spark java") //数据转换 val mappedWord...

scala的函数编程的排序

汉子一枚

02-10

2362

排序在scala集合中，可以使用以下几种方式来进行排序 sorted默认排序 sortBy指定字段排序 sortWith自定义排序默认排序 | Sorted 示例定义一个列表，包含以下元素: 3, 1, 2, 9, 7 对列表进行升序排序参考代码 scala scala> List(3,1,2,9,7).sorted res16: List[Int] = List(1, 2, 3, ...

Spark Core：Scala单词计数

一顿吃不饱的博客

11-11

3075

Spark Core：Scala单词计数 1、实验描述利用Scala语言开发Spark WordCount程序实验时长： 45分钟主要步骤：创建spark项目编写wordcount 示例程序运行Scala 程序查看实验结果 2、实验环境虚拟机数量：3(一主两从，主机名分别为：master、slave01、slave02) 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Spark版本：Apache Spark 2.1.1 JDK 版本：1.8.

spark之scala程序开发(集群运行模式)：单词出现次数统计

weixin_30512785的博客

02-07

549

准备工作：将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G，因为需要在该节点上跑本地(local)Spark程序，本地Spark程序会启动Worker进程耗用大量内存资源其余准备工作可参考：scala程序开发之单词出现次数统计(本地运行模式) 1、启动Spark集群 [hadoop@master01 install]$ cat start...

使用Scala语言实现单词数量统计功能

ITBOY_ITBOX博客

05-06

5362

使用Scala语言实现单词数量统计功能： List( ("Hello Scala World", 4), ("Hello World", 3), ("Hello Hadoop", 2), ("Hello Hbase", 1) ) 将上面集合中的单词统计出现次数并按照次数降序排列取前3. 方式一 object WordCount { def main(args: Array[Str...

Scala统计单词

yolkpi的博客

11-19

256

Scala代码（为了说明拆成多部,开发中不建议定义这么多变量） def wordCount():Unit = { //定义一个单词词组 val wordsList = List("i am cute","say me cute","oh you are kidding") //list中每个句子按照空格切分 val wordSplit = wordsList.map(_.split(" ")) //将list拍平成单词列表 val wordFlatten

scala计算词频

ho_ll_ow的博客

11-02

981

计算一个单词出现次数并排序: val arr=Array(“hello,word,hello,haokz,hello,haokz”,“haokz,hello,wang,kong,kong,haokz,hello”,“wang,haokz,hello”) 1.用Array模拟多行内容,每行内容中字符以,号间隔 val arr=Array(“hello,word,hello,haokz,hello,h...

在idea中用scala统计文件单词出现的次数