- 博客(5)
- 收藏
- 关注
RSS订阅原创 fink DataStream算子及案例
目录1、分类DataStreamkeyedStreamwindow Stream重要案例DataStreamProcessFunctionWindowAllDataStream → AllWindowedStreamkeyedStreamwindow Stream（1）、分组和非分组Windows。（2）、预定义窗口分配器滚动窗口滑动窗口...
2019-11-21 14:10:34
397
原创 spark中excutor的个数、内存大小、core的个数、task的个数、分区的个数、集群的资源情况等的关系
目录1、Spark性能调优之资源分配大体上这两个方面：core mem（1）、分配哪些资源？（2）、在哪里分配这些资源？（3）、调节到多大，算是最大呢？（4）、为什么调节了资源以后，性能可以提升？2、分区个数和task个数的关系3、Spark性能调优之合理设置并行度（1）、Spark的并行度指的是什么？（2）、如何去提高并行度？1...
2019-11-15 11:28:34
9794
3
原创 Spark on yarn工作模式。 Client和Cluster两种运行模式的工作流程、基本概念。spark工作流程
目录1、首先介绍yarn的模型图（1）、yarn 模型图（2）、yarn的流程如下：2、cluster模式下提交任务流程（1）、流程图如下（2）、工作流程如下：3、在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。（1）、client模式下的流程图（2）、工作流程如下：4、Spark任务调度1、首先介...
2019-11-14 18:59:26
1079
原创 spark什么计算运行在excutor，什么算子运行在driver？
什么计算运行在excutor，什么算子运行在driver？（1）、foreachRdd运行在driver节点，因为它是操作dstream的。foreachPartition和foreach运行在worker节点，因为它是操作rdd的。foreachRdd开启对任务的启动，当执行到执行算子的时候开始任务的执行。（2）、对rdd进行操作的就运行在worker节点，对dstream进行操作的就运行...
2019-11-04 19:35:46
4246
转载 spark、storm消费kafka为啥不阻塞？消费kafka运行在每个excutor，还是运行在driver？
excutor端，每个task消费一个partition。1、dirct直接连接:即每个executor直接取kafka获取数据（1）、首先Driver程序会定时(batchInterval)的向executor中发送任务（task）。 >> 问题1：为什么是4个任务？ >> 因为spark会对每个partition开启一个任务，所以...
2019-11-04 18:09:39
444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人