- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 通过代码实例来说明spark api mapPartitions和mapPartitionsWithIndex的使用
代码片段1：package com.oreilly.learningsparkexamples.scalaimport org.apache.spark._import org.eclipse.jetty.client.ContentExchangeimport org.eclipse.jetty.client.HttpClientobject BasicMapPartition
2015-07-15 16:58:28
8806
原创 spark多个application的同时运行
在spark的Job Scheduling中介绍了spark多个任务同时执行，相关链接为：https://spark.apache.org/docs/1.2.0/job-scheduling.html spark要实现多个application同时运行，涉及到多个application的资源共享。在spark on yarn模式下，yarn可以用来管理集群资源。为了能够比较好的利
2015-07-14 09:43:58
9468
原创 spark on yarn的cpu使用
在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下： yarn.nodemanager.resource.cpu-vcores 30 NodeManager总的可用虚拟CPU个数virutal core的概念是将所有physical cpu组成8个可调度的队列，linux使得有任务的
2015-07-08 10:31:00
6497
1
原创 浅谈spark yarn模式的问题调试
spark运行的时候，有可能发生崩溃，而在spark console里面看到的堆栈，很可能不是发生问题的实际堆栈，这个时候需要看yarn日志来定位问题。 我在调试spark程序的时候，采用如下命令启动spark驱动程序：/usr/local/spark-1.3.1-bin-hadoop2.6/bin/spark-submit --supervise --class spark_sec
2015-07-07 16:57:43
26873
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人