- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark的调优总结
1、reduce task OOM?增大reduce端的聚合操作的内存比例增大executor memory 内存大小 --executor-memory减少reduce task每次拉取的数据量设置spak.reducer.maxSizeInFlight参数2、在sh...
2019-11-27 10:06:28
278
原创 查看java程序中对象占用空间大小
需要引入的jar包：<dependency> <groupId>com.carrotsearch</groupId> <artifactId>java-sizeof</artifactId> <version>0.0.5</version></dependency>在...
2019-11-26 09:20:20
850
原创 SPARK-SQL内置函数之时间日期类
一、获取当前时间1.current_date获取当前日期2018-04-092.current_timestamp/now()获取当前时间2018-04-09 15:20:49.247二、从日期时间中提取字段1.year,month,day/dayofmonth,hour,minute,secondExamples:>SELECT day('2009-07-3...
2019-11-22 15:14:19
620
原创 IntelliJ IDEA常用快捷键
Ctrl+Z：撤销Ctrl+Shift+Z：重做Ctrl+X：剪贴Ctrl+C：复制Ctrl+V：粘贴Ctrl+Y：删除当前行Ctrl+D:复制当前行Ctrl+Shift+J：将选中的行合并成一行Ctrl+N：查找类文件Ctrl+Shift+N：查找文件Ctrl+G：定位到文件某一行Alt+向左箭头：返回上次光标位置Alt+向右箭头：返回至后一次光标...
2019-11-14 17:24:37
139
原创 Spark程序运行常见错误解决方法以及优化
一.org.apache.spark.shuffle.FetchFailedException1.问题描述这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。2.报错提示(1) missing output locationorg.apache.spark.shuffle.MetadataFetch...
2019-11-13 10:01:37
2107
原创 SPARK调优之并行度设置
操作场景并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍操作步骤并行度可以通过...
2019-11-13 09:46:05
912
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人