- 博客(6)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 spark 大型项目实战(四十九):troubleshooting之解决yarn-client模式导致的网卡流量激增问题
yarn-client模式下，会产生什么样的问题呢？由于咱们的driver是启动在本地机器的，而且driver是全权负责所有的任务的调度的，也就是说要跟yarn集群上运行的多个executor进行频繁的通信（中间有task的启动消息、task的执行统计消息、task的运行状态、shuffle的输出结果）。咱们来想象一下。比如你的executor有100个，stage有10个，task有10...
2018-07-03 00:17:21
2862
转载 spark 大型项目实战(四十八):troubleshooting之解决算子函数返回NULL导致的问题
在算子函数中，返回null// return actionRDD.mapToPair(new PairFunction<Row, String, Row>() {//// private static final long serialVersionUID = 1L;// // @Override// ...
2018-07-03 00:13:11
2748
转载 spark 大型项目实战(四十七):troubleshooting之解决各种序列化导致的报错
你会看到什么样的序列化导致的报错？用client模式去提交spark作业，观察本地打印出来的log。如果出现了类似于Serializable、Serialize等等字眼，报错的log，那么恭喜大家，就碰到了序列化问题导致的报错。虽然是报错，但是序列化报错，应该是属于比较简单的了，很好处理。序列化报错要注意的三个点：1、你的算子函数里面，如果使用到了外部的自定义类型的变量，那么此时，...
2018-07-03 00:10:49
2771
转载 spark 大型项目实战(四十六):troubleshooting之解决YARN队列资源不足导致的application直接失败
如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpu core。比如说，某个spark application，在spark-submit里面你自己配了，executor，80个...
2018-07-03 00:03:51
3095
转载 spark 大型项目实战(四十五):troubleshooting之解决JVM GC导致的shuffle文件拉取失败
1. 比如，executor的JVM进程，可能内存不是很够用了。那么此时可能就会执行GC。minor GC or full GC。总之一旦发生了JVM之后，就会导致executor内，所有的工作线程全部停止。 2. 下一个stage的executor，可能是还没有停止掉的，task想要去上一个stage的task所在的exeuctor，去拉取属于自己的数据，结果由于对方正在gc，就导致拉取了...
2018-07-02 23:57:32
2769
原创 spark 大型项目实战(四十四):troubleshooting之控制shuffle reduce端缓冲大小以避免OOM
1. map端的task是不断的输出数据的，数据量可能是很大的。但是，其实reduce端的task，并不是等到map端task将属于自己的那份数据全部写入磁盘文件之后，再去拉取的。map端写一点数据，reduce端task就会拉取一小部分数据，立即进行后面的聚合、算子函数的应用。每次reduece能够拉取多少数据，就由buffer来决定。因为拉取过来的数据，都是先放在buffer中的。然...
2018-07-02 23:49:40
2827
空空如也
datagrid 行添加问题，行数据的自动分页
2016-12-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人