spark collect遍历

最新推荐文章于 2022-03-06 18:05:50 发布
最新推荐文章于 2022-03-06 18:05:50 发布
阅读量1.4w 收藏 5
点赞数
分类专栏： spark 文章标签： spark collect
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kimyoungvon/article/details/51307989
版权

      spark collect操作的特点是从远程集群是拉取数据到本地，经过网络传输，如果数据量的话，会给网络造成很大的压力，和foreach的却别是，foreach是在远程集群上遍历rdd中的元素，如果是在本地的话，差别不大。建议使用foreach，不要用collect.

    直接上代码：

@SuppressWarnings("unchecked")
    public static void myCollect(){
        SparkConf conf=new SparkConf()
        .setAppName("myCollect")
        .setMaster("local");
        JavaSparkContext sc=new JavaSparkContext(conf);
        List<Double> list=Arrays.asList(1.0,2.0,3.0,4.0);
    JavaDoubleRDD doubleRdd= sc.parallelizeDoubles(list, 2);
    JavaRDD<Double> mapRdd=doubleRdd.map(new Function<Double,Double>(){

        private static final long serialVersionUID = 1L;

        @Override
        public Double call(Double arg0) throws Exception {
            // TODO Auto-generated method stub
            return arg0+2;
        }
        
    });
    
    List<Double> doubleList=mapRdd.collect();
    for(Double d:doubleList){
        System.out.println("d:"+d);
    }
        
        
    }



结果如下：

d:3.0
d:4.0
d:5.0
d:6.0


详细日志情况如下：


16/05/03 21:43:54 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/05/03 21:43:54 INFO SecurityManager: Changing view acls to: admin
16/05/03 21:43:54 INFO SecurityManager: Changing modify acls to: admin
16/05/03 21:43:54 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(admin); users with modify permissions: Set(admin)
16/05/03 21:43:56 INFO Utils: Successfully started service 'sparkDriver' on port 52849.
16/05/03 21:43:57 INFO Slf4jLogger: Slf4jLogger started
16/05/03 21:43:58 INFO Remoting: Starting remoting
16/05/03 21:43:58 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriverActorSystem@192.168.213.1:52862]
16/05/03 21:43:58 INFO Utils: Successfully started service 'sparkDriverActorSystem' on port 52862.
16/05/03 21:43:58 INFO SparkEnv: Registering MapOutputTracker
16/05/03 21:43:58 INFO SparkEnv: Registering BlockManagerMaster
16/05/03 21:43:58 INFO DiskBlockManager: Created local directory at C:\Users\admin\AppData\Local\Temp\blockmgr-6f3b927d-6959-40fc-9da4-bf8caf4c8283
16/05/03 21:43:58 INFO MemoryStore: MemoryStore started with capacity 2.4 GB
16/05/03 21:43:59 INFO SparkEnv: Registering OutputCommitCoordinator
16/05/03 21:43:59 INFO Utils: Successfully started service 'SparkUI' on port 4040.
16/05/03 21:43:59 INFO SparkUI: Started SparkUI at http://192.168.213.1:4040
16/05/03 21:44:00 INFO Executor: Starting executor ID driver on host localhost
16/05/03 21:44:00 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 52869.
16/05/03 21:44:00 INFO NettyBlockTransferService: Server created on 52869
16/05/03 21:44:00 INFO BlockManagerMaster: Trying to register BlockManager
16/05/03 21:44:00 INFO BlockManagerMasterEndpoint: Registering block manager localhost:52869 with 2.4 GB RAM, BlockManagerId(driver, localhost, 52869)
16/05/03 21:44:00 INFO BlockManagerMaster: Registered BlockManager
16/05/03 21:44:02 INFO SparkContext: Starting job: collect at ActionOperation.java:56
16/05/03 21:44:02 INFO DAGScheduler: Got job 0 (collect at ActionOperation.java:56) with 2 output partitions
16/05/03 21:44:02 INFO DAGScheduler: Final stage: ResultStage 0 (collect at ActionOperation.java:56)
16/05/03 21:44:02 INFO DAGScheduler: Parents of final stage: List()
16/05/03 21:44:02 INFO DAGScheduler: Missing parents: List()
16/05/03 21:44:02 INFO DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[2] at map at ActionOperation.java:44), which has no missing parents
16/05/03 21:44:02 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 2.6 KB, free 2.6 KB)
16/05/03 21:44:02 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1627.0 B, free 4.2 KB)
16/05/03 21:44:02 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on localhost:52869 (size: 1627.0 B, free: 2.4 GB)
16/05/03 21:44:02 INFO SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1006
16/05/03 21:44:02 INFO DAGScheduler: Submitting 2 missing tasks from ResultStage 0 (MapPartitionsRDD[2] at map at ActionOperation.java:44)
16/05/03 21:44:02 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks
16/05/03 21:44:02 INFO TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, localhost, partition 0,PROCESS_LOCAL, 2037 bytes)
16/05/03 21:44:02 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)
16/05/03 21:44:02 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 1009 bytes result sent to driver
16/05/03 21:44:02 INFO TaskSetManager: Starting task 1.0 in stage 0.0 (TID 1, localhost, partition 1,PROCESS_LOCAL, 2037 bytes)
16/05/03 21:44:02 INFO Executor: Running task 1.0 in stage 0.0 (TID 1)
16/05/03 21:44:02 INFO TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 202 ms on localhost (1/2)
16/05/03 21:44:02 INFO Executor: Finished task 1.0 in stage 0.0 (TID 1). 1009 bytes result sent to driver
16/05/03 21:44:02 INFO DAGScheduler: ResultStage 0 (collect at ActionOperation.java:56) finished in 0.279 s
16/05/03 21:44:02 INFO TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 44 ms on localhost (2/2)
16/05/03 21:44:02 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool
16/05/03 21:44:02 INFO DAGScheduler: Job 0 finished: collect at ActionOperation.java:56, took 0.863032 s
d:3.0
d:4.0
d:5.0
d:6.0
16/05/03 21:44:02 INFO SparkContext: Invoking stop() from shutdown hook
16/05/03 21:44:03 INFO SparkUI: Stopped Spark web UI at http://192.168.213.1:4040
16/05/03 21:44:03 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
16/05/03 21:44:03 INFO MemoryStore: MemoryStore cleared
16/05/03 21:44:03 INFO BlockManager: BlockManager stopped
16/05/03 21:44:03 INFO BlockManagerMaster: BlockManagerMaster stopped
16/05/03 21:44:03 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
16/05/03 21:44:03 INFO SparkContext: Successfully stopped SparkContext
16/05/03 21:44:03 INFO ShutdownHookManager: Shutdown hook called
16/05/03 21:44:03 INFO ShutdownHookManager: Deleting directory C:\Users\admin\AppData\Local\Temp\spark-b75f1e09-fb73-474c-8581-f4d0ab1b3697




fjr_huoniao
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Spark基础]-- spark rdd collect操作官方解释
欢迎来到我的博客，一起探索代码里的世界！
11-12 1万+
官方原文如下 Printing elements of an RDD Another common idiom is attempting to print out the elements of an RDD using rdd.foreach(println) or rdd.map(println). On a single machine, this will generate the ...
Spark API 详解/大白话解释 之 RDD、partition、count、collect
Talk Is Cheap
01-21 9256
RDD定义： 任何数据在Spark中都被转换为RDD。一个RDD可以看成是一个数组，不过是切分开，分布在不同的机器上，就并行处理。 由数据转换为RDD： 举例：从普通数组创建RDD，里面包含了1到9这9个数字，它们分别在3个分区中。这个RDD一共9个元素，每个元素含有一个数字val a = sc.parallelize(1 to 9, 3)举例：读取本地文件README.md来创建RDD，文件中的每
spark RDD collect()
热门推荐
chaoshengmingyue的博客
08-24 2万+
collect的作用 Spark内有collect方法，是Action操作里边的一个算子，这个方法可以将RDD类型的数据转化为数组，同时会从远程集群是拉取数据到driver端。 已知的弊端 首先，collect是Action里边的，根据RDD的惰性机制，真正的计算发生在RDD的Action操作。那么，一次collect就会导致一次Shuffle，而一次Shuffle调度一次stage，然而一...
spark中的collect
jiayunfei521的博客
11-28 1084
所以不要轻易用collect,集群中用了collect产生的数组据说是保存在主节点中，其他节点访问不到，所以还要用到广播变量广播到其他节点，不然就会报空指针的错误。 collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟分布式数据集比较抽象。Spark的collect方法，是Action类型的一个算子，会从远程集群拉取数据到driver端。最后，将大量数据汇集到一...
关于spark中的collect
自渡
07-25 5226
所以不要轻易用collect，集群中用了collect产生的数组据说是保存在主节点中，其他节点访问不到，所以还要用到广播变量广播道其他节点，不然就会报空指针的错误。 以下出自这里：https://blog.csdn.net/qq_44596980/article/details/93383431 /*collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟...
Spark SQL中collect对数据的检索
weixin_46300771的博客
03-06 2301
每天都在努力的我，每天都在努力的你，总有一天我们会相见 Spark collect和collectAsList是用于将RDD/DataFrame/DataSet的所有元素检索到驱动程序节点的操作。如果数据集较大，使用collect之后可能会导致内存不足 val data = Seq(Row(Row("James","","Smith"),"36636","M",3000), Row(Row("Michael","Rose",""),"40288","M",4000), Ro...
Spark和Scala当中的collect方法的用法和例子
qq_44596980的博客
06-23 4853
/*collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟分布式数据集比较抽象。Spark的collect方法，是Action类型的一个算子，会从远程集群拉取数据到driver端。最后，将大量数据 汇集到一个driver节点上，将数据用数组存放，占用了jvm堆内存，非常用意造成内存溢出，只用作小型数据的观察。*/ val arr = res.collec...
newest data collect
11-21
newest data collect
spark集群安装
12-03
3.2.2.在spark shell中编写WordCount程序 1.首先启动hdfs 2.向hdfs上传一个文件到hdfs://hdp-01:9000/wordcount/input/a.txt 3.在spark shell中用scala语言编写spark程序 scala> sc.textFile("hdfs://hdp-01:...
spark sftp 2.11
06-29
List<Row> list = words_bcp.collect(); for(Row row:list){ System.out.println("row1=="+row.getString(0)); } df.write().format("com.springml.spark.sftp"). option("host", "192.168.1.3"). option(...
Spark for Python Developers
12-11
Second, acquire, collect, process, and store the data. Third, gain insights from the collected data. Fourth, stream live data and process it in real time. Finally, visualize the information.
spark-2.2.2安装流程
05-06
Actions：操作(Actions) (如：count, collect, save等)，Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因。 SparkEnv：线程级别的上下文，存储运行时的重要组件的引用。 ...
Spark RDD collect与collectPartitions
Fortuna_i的博客
06-29 7860
确切的应该说是RDD collect^_^ 1.collect的作用         Spark内有collect方法，是Action操作里边的一个算子，这个方法可以将RDD类型的数据转化为数组，你可以随时val arr = data.collect（），将RDD类型数据转化为数组来存放并参与后续运算。 2.已知的弊端     首先，从时间上来讲，前边已经说过了，collect是Actio...
spark sql中collect_list的逆操作 将一行转化为多行 explode函数
Buevara的博客
09-18 2792
大家都知道collect_list和collect_set是将多行同组数据转化为一行，但是如何进行其的逆操作将一行数据转化为同组的多行数据呢？ 首先创建简单DF var x = Seq( ("li", "1,2,3"), ("bo", "10,20,30") ).toDF("name", "time") x.show() 初始表为： +----+--------+ |name| ...
spark sql中collect_list + partition by的特殊用法
suoqiuge's CSDN blog
03-11 5255
spark or hive中collect_list的特殊用法问题的提出解决思路实际上如何解决 问题的提出 hive或者spark中collect_list一般是用来做分组后的合并，翻一下CSDN上的博客，大部分都是写了它和group by连用的情况，而几乎没有和partition by连用的情况，因此本篇特定来讲collect_list + partition by的这个用法。 会发现这个问题也...
Spark-SQL之DataFrame操作 show/collect/collectAsList/describe
lukabruce的博客
11-27 1万+
https://blog.csdn.net/dabokele/article/details/52802150
187、Spark 2.0之Dataset开发详解-action操作：collect、count、foreach、reduce等
ZJ__ZFH的博客
02-11 1965
常见的action操作 collect collect：将分布式存储在集群上的分布式数据集（比如dataset），中的所有数据都获取到driver端来 count count：对dataset中的记录数进行统计个数的操作 first first：获取数据集中的第一条数据 foreach foreach：遍历数据集中的每一条数据，对数据进行操作，这个跟collect不同，collec...
Spark dataset操作
代码搬运工
11-16 886
1、dataset显示 dataset.show(7); 2、获取dataset所有列的列名 String[] columns = dataset.columns(); 3、选取特定的列显示 dataset.select(columns[0],columns[1],columns[2],columns[3]).show() 4、将dataset转换为list List<...
pyspark dataframe遍历
最新发布
12-19
在PySpark中，DataFrame是一种分布式数据集，可以进行高效的数据处理和分析。遍历DataFrame可以使用多种方法，以下是几种常见的遍历方式： 1. 使用collect()方法：collect()方法将DataFrame中的所有数据收集到Driver端的内存中，然后可以通过迭代器遍历每一行数据。但是需要注意的是，如果DataFrame非常大，collect()可能会导致内存溢出，因此只适用于小规模的数据集。 ```python df = spark.createDataFrame([(1, 'Alice'), (2, 'Bob'), (3, 'Charlie')], ['id', 'name']) rows = df.collect() for row in rows: print(row) ``` 2. 使用foreach()方法：foreach()方法可以对DataFrame中的每一行数据应用自定义的函数进行处理。这种方式可以在分布式环境下进行并行处理，适用于大规模的数据集。 ```python def process_row(row): print(row) df.foreach(process_row) ``` 3. 使用toLocalIterator()方法：toLocalIterator()方法将DataFrame中的数据以迭代器的形式返回到Driver端，然后可以通过迭代器遍历每一行数据。与collect()方法相比，toLocalIterator()方法可以避免内存溢出问题，适用于中等规模的数据集。 ```python df = spark.createDataFrame([(1, 'Alice'), (2, 'Bob'), (3, 'Charlie')], ['id', 'name']) iterator = df.toLocalIterator() for row in iterator: print(row) ``` 这些是几种常见的遍历DataFrame的方法，根据具体的需求和数据规模选择合适的方式进行遍历。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值