Spark FlatMap(x=＞new ListBuffer())或者FlatMap(x=＞new ListBuffer[String]())

于 2020-10-22 22:36:51 发布
阅读量295 收藏
点赞数
分类专栏： 笔记 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/E_Possible/article/details/109232191
版权
本文探讨了在使用ListBuffer时未指定类型导致的运行时错误问题。通过实例说明，指定期望的成员类型可以避免此类错误，确保后续操作的顺利执行。了解正确的类型使用对于编写稳定可靠的Scala代码至关重要。
摘要由CSDN通过智能技术生成

如下图，在返回不包含元素的ListBuffer时，如果ListBuffer没有指定类型（即ListBuffer中包含的是什么类型的成员），在执行后面的操作时就会报错。
在这里插入图片描述
在这里插入图片描述
如下图，指定了ListBuffer中成员的类型后，执行后面的操作时就不会报错。
在这里插入图片描述

E_Possible
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Scala中ListBuffer高效遍历
52Pig的专栏
08-19 4162
package com.dt.scala.list object ListBuffer_Internals { def main(args: Array[String]): Unit = { val list = List(1,2,3,4,5,6,7,8,9) increment(list) increment_MoreEffective(list) inc
[Spark] 巧用ListBuffer进行数据格式转换
mouliu6141的博客
06-23 1194
背景 某个父类目下对应多个子类目，例如 数字：0，1，2，3，4，5，6，7，8，9 字母：a，b，c，d，e，f，g，h，i，j 假设某个hive表，且叫table，其中存储的数据格式为 category item_list (number 0,1,2,3,4,5,6,7,8,9) (alphabet a,b,c,d,e,f,g,h,i,j) 我们想将其转换为如下数据格式 (number 0) (number 1) (number 2) (number 3) … (alphabet a) (alphabe
spark中使用ArrayBuffer和ListBuffer
ample笔记
03-20 1230
如题，使用ArrayBuffer不报错，使用ListBuffer提示强制转换ArrayBuffer失败，具体原因待查
scala的多种集合的使用(4)之列表List(ListBuffer)的操作
weixin_30933531的博客
08-24 455
1.List列表的创建和添加元素 1)最常见的创建list的方式之一。 scala> val list = 1 :: 2 :: 3 :: Nil list: List[Int] = List(1, 2, 3) 2)最常见的创建list的方式之一。　 scala> val list = List(1,2,3) list: List[Int] = Li...
Scala中List的ListBuffer实现高效的遍历计算
w_j_w2010的博客
11-18 1330
分类： scala 2015-08-16 10:49 309人阅读 评论(0) 收藏 举报 scalasparkListBuffer 目录(?)[+] 我们通过对比下列4组程序，对比，发现优缺点 第一组： 递归 代码  def main(args: Array[String]) {     val data = 1 to 20000     val curr
Spark GraphX源码分析.pdf
12-24
Spark GraphX源码分析： 在大数据时代背景下，图计算成为了一个重要的研究领域，而Apache Spark的GraphX库是处理大规模图数据的关键工具之一。GraphX在Spark的基础上实现了图并行计算，并提供了丰富的图操作接口。...
Spark-图计算GraphX
02-24
1.1基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，...GraphX中有一个重要概念，所有的边都有一个方向，那么图就是
Spark GraphX In Action 2016英文原版.pdf
04-16
《Spark GraphX in Action》是2016年出版的一本深入探讨Spark GraphX框架的专业书籍，主要聚焦于大数据环境下的图形计算。本书为高清版本，包含完整的索引目录，便于读者查阅和学习。 Spark是Apache软件基金会下的...
大数据Spark实战视频教程
11-10
大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Scala ListBuffer使用备忘
dai451954706的专栏
02-09 1万+
Scala ListBuffer 使用备忘
scala中List、Array、ListBuffer、ArrayList、Set、元组区别
赣江
08-21 1万+
1.List列表：不可变 LIst支持在头部快速添加和移除条目，但是不提供快速按下标访问的功能，这个功能需要线性遍历列。 快速的头部添加和移除意味着模式匹配很顺畅 List列表跟数组非常像，2者都是同构的，同一个列表的所有元素必须是相同类型。 但是有2个重要区别 1，List是不可变的，元素不能通过赋值改变。 2.列表的结构是递归的（即链表，linkedList），而数组是平等的。 使...
scala flatmap与map的区别； List、Array、ListBuffer、ArrayList、Set、元组区别
kevin
02-12 1234
一、flatmap与map的区别 1. map会将每一条输入映射为一个新对象。{苹果，梨子}.map(去皮） = {去皮苹果，去皮梨子} 其中： “去皮”函数的类型为：A => B 不能把一行 映射为多行。 2.flatMap包含两个操作：会将每一个输入对象输入映射为一个新集合，然后把这些新集合连成一个大集合。 {苹果，梨子}.flatMap(切碎) = {苹果碎片1，苹果碎片2，梨子...
Scala ListBuffer –创建可变列表
07-21 2948
Scala列表 (Scala Lists) A List is a collection of immutable elements of the same data type. In scala, the list represents a linked-list. 列表是相同数据类型的不可变元素的集合。 在scala中，该列表表示一个链接列表。 You cannot update a l...
scala学习之ListBuffer、ArrayBuffer、Queue、Stack
gongpulin的博客
06-02 2418
import scala.collection.immutable.Queue object ListBufferArrayBufferQueueStack{ def main(args:Array[String]){ import scala.collection.mutable.ListBuffer val listBuffer=new ListBuffer[Int] listBuf
Scala:List/ListBuffer（简介/常用方法示例）
weixin_30488313的博客
06-13 1200
不可变 List：长度内容都不可变 可变 ListBuffer：长度内容都可变 必须导入包 创建不可变List 1.传统方式 2.:: Nil ::该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素 :+和+:两者的区别在...
Java接入Spark之创建RDD的两种方式和操作RDD
热门推荐
至道
06-02 4万+
Java接入Spark之创建RDD的两种方式和操作RDD
10.3 spark算子例子map,filter,flatMap,mapPartitions,groupByKey,join,distinct
心雨先生
07-20 455
Map filter: object Map_Operator { def main(args: Array[String]): Unit = { /** * 创建一个设置Spark运行参数的对象 * SparkConf对象可以设置运行模式，设置Application的名称 * 设置Application执行所需要的资源情况 */ val conf = new SparkConf(...
在Spark Shell交互式编程环境下，执行如下Scala语句后返回的运算结果是什么?val data1 = sc.makeRDD(Array(2，3，4,5，6))data1.flatMap(x => 3 to x).count()
最新发布
06-11
- 然后，调用 `data1.flatMap(x => 3 to x)` 对这个 RDD 进行 flatMap 操作，其中： - `x => 3 to x` 表示对每个元素 x，生成一个 Range 类型的集合，该集合包含从 3 到 x 的所有整数（包括 3 和 x）； - ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值