spark在IntelliJ中输出filter想要的结果

最新推荐文章于 2021-10-22 23:56:18 发布
最新推荐文章于 2021-10-22 23:56:18 发布
阅读量1.5k 收藏
点赞数
分类专栏： Spark 文章标签： spark filter foreach
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RiverCode/article/details/59483822
版权
本文档介绍了如何在IntelliJ中利用Spark的filter操作筛选数据。首先，通过SparkContext将Scala集合转为RDD，接着使用filter方法筛选所需数据，并通过collect方法将filter后的RDD转换为集合进行查看。最后，使用foreach配合println逐行输出筛选结果。参考链接提供了更多关于输出详细结果的方法。
摘要由CSDN通过智能技术生成

1.通过SparkContext把Scala中的集合转化为RDD

通过SparkContext提供的parallelize方法把Scala中的集合转换为RDD 
val listRDD = sc.parallelize(List(6,8,10,12,16))

2.filter筛选想要数据

这里我们通过filter筛选出大于10的元素 
val filterRDD = listRDD.filter(_ >10)

3.输出filterRDD

结果为：MapPartitionsRDD[1] at filter at PrintDemo.scala:25
发现不是我们想要的

4.把filterRDD通过collect转换为集合，然后输出查看

println(filterRDD.collect())
结果为：[I@33128e87  还是不是我们想要的结果。

5.通过foreach(println)隔行输出想要的结果

filterR
最低0.47元/天 解锁文章
RiverCode
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用pyspark实现spark编程之数据去重及筛选
m0_47399957的博客
11-18 2202
利用pyspark实现spark编程之数据去重 数据源文件 #zuoye1 # 初始化SparkContext from pyspark import SparkContext sc = SparkContext('local', 'remdup') # 加载两个文件A和B lines1 = sc.textFile("/usr/local/hadoop/A.txt") lines2 = sc.textFile("/usr/local/hadoop/B.txt") # 合并两个文件的内容 lines =
spark代码中过滤出异常的数据记录
攻城狮Kevin
04-08 1298
读取hdfs文件，对每一行做处理，有的行处理的时候，解析不成功，需要导出解析不成功的数据行记录 用如下代码： val rowData = sc.textFile(inputPath).filter(x => { val arr = x.split(splitType, -1) val faid = arr(0) val tagkv = arr(1) ...
spark常用的算子总结（8）—— filter
08-31 328
把超过某一个数的拿出来collect val filterRdd = sc.parallelize(List(1,2,3,4,5)).map(_*2).filter(_>5) filterRdd.collect # res5: Array[Int] = Array(6, 8, 10) 转载于:https://www.cnblogs.com/pocahont...
IDEA Filter 模板设置
Regino的博客
04-25 2546
本文介绍了 IDEA Filter 模板设置的相关内容。。。
Java Web idea Filter配置（过滤器配置）
码仔笔记
06-19 1万+
一、过滤器的概述 1.1过滤器的概念及作用 概念 过滤器是一个能够拦截客户端与服务端请求和响应的web组件（Servlet、Filter、Listener）。 2.画图分析 拦截请求：在请求到达客户端要访问的web资源前拦截请求。 拦截响应：在响应到达客户端之前拦截响应 。 为什么要使用过滤器 在实际项目中，我们对访问某些资源的请求需要进条件的筛选、过滤。当这个请...
scala-intellij-bin-2021.3.6.zip
10-24
IntelliJ IDEA是一款广受欢迎的集成开发环境（IDE），尤其在Java和Scala开发者中有着极高的赞誉。"scala-intellij-bin-2021.3.6.zip"是一个压缩包，包含了用于在IntelliJ IDEA中支持Scala开发的特定版本插件。 这个...
spark新手上路之源码解析.pdf
11-14
在本文中，我们将探讨 Spark 的核心概念，包括 RDD、依赖、计算模型、调度器以及存储管理等。 1. **RDD (Resilient Distributed Datasets)** RDD 是 Spark 最基本的数据抽象，代表了一组不可变、分区的记录集合。...
spark_2_8_3 windows版
02-26
在本案例中，我们关注的是Spark的Windows版本，即"spark_2_8_3.exe"。这个版本可能指的是Spark的2.8.3迭代，尽管实际最新版本可能已经高于此，但它仍具有一定的学习和研究价值。 Spark的核心设计理念是为了解决...
spark-Scala-介绍-教程-入门-手册-调研1
最新发布
08-03
例如，Spark的RDD（弹性分布式数据集）操作，如`map`、`filter`和`reduceByKey`，都是直接在Scala代码中调用的。 在Spark中，可以使用Scala编写批处理作业、实时流处理应用程序，以及构建机器学习模型。通过Spark ...
SparkJavaPractice:使用Java的Spark练习代码
03-08
SparkJavaPractice是一个项目，主要目的是通过使用Java编程语言来实践Apache Spark的核心功能。Apache Spark是一个分布式...项目的具体实现细节，例如数据读取、处理逻辑和输出结果，可以从提供的源代码中学习和研究。
spark scala 对dataframe进行过滤----filter方法使用
supersalome的博客
12-20 4万+
val df = sc.parallelize(Seq(("a", 1), ("a", 2), ("b", 2), ("b", 3), ("c", 1))).toDF("id", "num") 对整数类型过滤 逻辑运算符：>, df.filter($"num"===2) df.filter($"num">2) df.filter($"num" 或者 df.fi
Spark实战(二)Spark常用算子
钟晚语夕的专栏
12-13 1515
一、算子分类    从大方向来说，Spark 算子大致可以分为以下两类:     1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。    Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。    2）Action 行动算...
【IDEA】如何设置自己的快捷输出
恒等于C的博客欢迎您
10-22 3374
IDEA中如何设置自己的快捷输出？ IDEA设置快捷输出：1.打开IDEA2.点击setting3.找到Editor中的Live Templates4.设置过程5.使用 1.打开IDEA 首先要打开IDEA，如下图所示，然后点击File： 2.点击setting 3.找到Editor中的Live Templates 4.设置过程 找到点击Live Templates，点击旁边的Java。 我们会看见很多快捷输出的缩写，比如sout的： 这时候我们只需要模仿他也写一个就好了。 比如： 或者：
spark filter过滤rdd元素
跟我一起去征服
05-15 2万+
调用filter方法，rdd中的每个元素都会传入，然后只需要在call方法中写判断逻辑来判断这个元素是不是你想要的，如果是则返回true，否的话，返回false private static void myFilter(){         List list=Arrays.asList(1,2,3,4,5,6,7,8,9,10);         SparkConf conf=new
Spark算子使用示例
梓纾的专栏
11-05 1万+
1. 算子分类从大方向来说，Spark 算子大致可以分为以下两类 Transformation：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 Action：会触发 Spark 提交作业（Job），并将数据输出 Spark系统。 从小方向来说，Spark 算子大致可以分为以下三类: Value数据类型的T
Spark的Dataset操作(二)-过滤的filter和where
热门推荐
coding_hello的专栏
07-12 5万+
spark-sql的filter,where的用法
spark RDD的学习，filter函数的学习，split函数的学习
sinat_26566137的博客
08-01 8014
参考https://blog.csdn.net/xufangfang5206/article/details/80030300 https://www.cnblogs.com/ruoniao/p/6869319.html split是可以用多种不同的符号（转义字符，以及标点符号）作为分隔符的！！！ （1）读取txt文件，按\t分隔，将分割出来的列大于指定列的滤掉，解析不准； 注意len...
IntelliJ IDEA 如何在控制台过滤信息
阿甘兄
04-15 1万+
方法一： 首先点击控制台，Edit -> Find -> Find 方法二： 点击控制台，Ctrl+F,如果不行，再Ctrl+K 最后效果如下图：

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值