- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark优化
Spark调优一，分配更多的资源1，在哪里分配 在提交任务时，在这三个参数上分配（–total-executor-cores –executor-memory –driver-memory） 2，分配那些资源 CPU core 和 memory 3，怎么分配4，分配之后有什么效果 A, 给executor分配更多的内存，能够减少executor频繁的GC，因为发生频繁的G...
2017-08-29 20:46:16
174
转载 使用spark将从hbase中读取数据
使用spark将从hbase中读取数据 val sparkConf = new SparkConf().setAppName(“xxxx”).setMaster(“local”) //从数据库中读取数据 val sparkTask = SparkTaskDao.findTaskById(sparkConf.get(GlobalConstants.RUN_TASK_ID).toLong
2017-08-18 14:57:53
252
原创 spark中的序列化器
我们在使用spark进行序列化的时候总是习惯于使用继承Java中的Serializable，但是，在spark-2.1.0-bin-hadoop2.7新增了一个比Serializable更加安全高效的序列化器
2017-08-18 14:25:19
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人