Scala（4）wc程序改造、aggregate、par、构造器、单例对象

最新推荐文章于 2022-04-12 11:30:24 发布
最新推荐文章于 2022-04-12 11:30:24 发布
阅读量182 收藏
点赞数
分类专栏： 中文 文章标签： scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43508211/article/details/108267226
版权

aggregate函数

在这里插入图片描述
结果是155

并行化集合

val arr=Array(1,2,3,4,5,6,7,8,9,10)
arr: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)

arr.par
scala.collection.parallel.mutable.ParArray[Int] = ParArray(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)

arr.par.sum
res4: Int = 55

arr.sum
res5: Int = 55

par的作用是将计算分成多个线程执行，如果arr.sum 所有数字将通过一个线程依次执行，如果arr.par.sum则会将所有数字分块，然后多个线程并行执行计算，在数据量比较大的时候，计算效率会大幅度提升。

构造器：

单例对象和伴生对象：

刚哥的大数据之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scala 2.13 并行集合par 的引用
yang灬仔
09-14 1048
Scala 2.13之后，并行模块变成了外部库需要在maven项目的pom.xml中手动导入： <dependency> <groupId>org.scala-lang.modules</groupId> <artifactId>scala-parallel-collections_2.13</artifactId> <version>0.2.0</version> </dependency
巧用Scala结合par方法
关新宇的博客
08-16 4002
不说话，直接看图： 是很简单的执行24次count，左边是串行（节省时间我把第五个jobkill掉了），右边是par后执行，可以看出par的威力。附代码： val ses = ...().par ses.tasksupport = new ForkJoinTaskSupport(new ForkJoinPool(4)) ses.map{case (h, (start, end)) ...
Scala：par并行集合计算(fold、aggregate)结果与cpu内核线程的关系
Jodness' Blogs
07-24 3734
下午在运行以下代码时，结果有两种可能：25或30 val list = (1 to 4).toList var res = list.par.aggregate(5)(_+_,_+_) 关于aggregate函数，这是一个具有柯里化特征的函数；可以传入自定义两个方法，将计算过程打印一遍 val list = (1 to 4).toList // 第一个()...
03-sparkWC开发与应用部署
IT晓白
02-03 322
1. 使用Idea新建项目： Scala+maven工程 1.1. 新建project 1.2. 新建module 1.3. 添加scala 1.4. 添加maven 还是在上面那个窗口找到maven选中，点击OK 配置maven并修改maven创库 1.File–点击Settings 2.说明如图中所示 Scala+maven项目目录结构如下 2. WordCount开...
Scala学习总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-28 431
Scala学习网站：https://www.runoob.com/scala/scala-intro.html scala总结: https://blog.csdn.net/hjy1821/article/details/83751384 1、使用scala实现wordCount scala> import scala.io.Source scala> val lines = Source.fromFile("/usr/local/src/badou_code/mr/mr_wc/The
Scala进阶_单例对象
01-20
在Scala中，单例对象是通过`object`关键字定义的，它保证了在整个程序运行期间只有一个实例存在。这与Java中的静态成员不同，Java的静态成员是在类加载时创建，而Scala的单例对象是在首次引用时初始化。这意味着单例...
Scala进阶_构造器
01-07
当创建类对象的时候，会自动调用类的构造器。之前使用的都是默认构造器，我们接下来要学习如何自定义构造器。 主构造器 我们学习过，Java的构造器，有构造列表和构造代码块 class Person { // 成员变量 private ...
Scala基础(5) 构造器
01-07
利用主构造器传递参数 class Counter(val name:String, val mode:Int){ private var value = 0 def increment(step:Int):Unit={value += step} def current():Int={value} def info():Unit={printf(Nama:%s, ...
Scala小程序详解及实例代码
08-31
Scala中的`object`类似于Java中的`class`，但它可以包含静态成员和主构造器。`main`方法是每个Scala应用程序的起点，它的签名是`def main(args: Array[String])`。`args`参数数组包含了从命令行传递的参数。 5. **...
使用IDEA开发Scala程序.docx
最新发布
06-05
在本实验中，我们将深入学习如何使用IntelliJ IDEA这一强大的集成开发环境(IDE)来开发Scala程序，特别是针对Apache Spark的应用。实验的目标是让学习者掌握如何在IDEA中配置和构建Spark本地应用程序，以及如何部署...
scala Wordcount
afei2530的博客
08-07 74
package my.bigdata.scala08import scala.collection.mutableimport scala.collection.mutable.ArrayBufferimport scala.io.Source/** scala word count * Created by lq on 2017/8/7. */object Task2 { ...
Scala 具体的并行集合库【翻译】
weixin_34306676的博客
02-12 120
原文地址 本文内容 并行数组（Parallel Array） 并行向量（Parallel Vector） 并行范围（Parallel Range） 并行哈希表（Parallel Hash Tables） 并行散列 Tries（Parallel Hash Tries） 并行并发 Tries（Parallel Concurrent Tries） 参...
scala并行集合
sinat_34788899的博客
01-19 2324
将普通集合转化成为并行集合：arr（非并行） arr.par（并行集合） 1现在有一个集合，对它的每个元素进行处理，比如: scala> (1 to 5).foreach(println(_)) 12345 scala> (1 to 5).par.foreach(println(_)) 31425 2以下代码获取到参与并行计算的线程： scala> (0
scala使用par并行集合设置的线程池未关闭导致的内存占用问题
u013597009的博客
11-23 3496
问题产生背景          程序语言使用的是scala。         在处理大量数据时，使用了par函数将普通集合转为并行集合集合，通过多线程并发处理达到提升处理效率的目的，相关代码如下： for循环{ ... process() } def process(): Unit ={ val map: Map[String, Int] = Map("a"->1, "
scala的aggregate
11-06 4983
针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。 首先，Spark文档中aggregate函数定义如下 def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U])
scala学习笔记：理解并行集合par
白乔专栏
02-28 9270
scala> (1 to 5).foreach(println(_)) 1 2 3 4 5scala> (1 to 5).par.foreach(println(_)) 1 2 3 4 5以下代码获取到参与并行计算的线程：scala> (0 to 10000).collect{case _ => Thread.currentThread.getName}.distinct res53: scala.
2-1、Spark的单词统计WC
鲍礼彬的CSDN博客 ~_~
12-13 3651
1、输入数据： [root@spark0 bigdata]# pwd /usr/local/spark-1.5.2-bin-hadoop2.6/bigdata [root@spark0 bigdata]# more wcDemo1.txt hadoop hive solr redis kafka hadoop storm flume sqoop docker spark
Scala案例：词频统计
howard2005的专栏
02-17 4679
一、提出任务 统计文本文件里单词出现次数。 二、完成任务 1、创建Scala项目 - ScalaWordCount 创建net.hw.wc包： 2、在项目根目录添加文本文件test.txt 3、在net.hw.wc包里创建scala源程序WordCount 4、运行程序，查看结果 ...
scala 学习【二】
qq_45494908的博客
04-12 1602
scala 集合 List、Array、Tuple、Map、队列 Queue 方法和函数的定义、高阶函数、柯里化 currying 函数式编程 map、reduce、groupBy、（用scala写wc,可以用group做统计）、sortBy
Scala样例类实践：单例与对象操作
本资源是一份关于Scala编程语言样例类（case class）练习的文档，通过一系列的示例介绍了如何创建、实例化、修改和操作样例类对象。练习涵盖了单例对象、apply方法、对象相等性比较、哈希值计算以及特质的使用。 1....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值