- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 编写Spark测试用例
使用scalaTest工具,用法参考: scalaTest的使用代码src/test/tool/LocalSparkContext.scalaimport org.apache.spark.{SparkConf, SparkContext}import org.scalatest._trait LocalSparkContext extends BeforeAndAfterAll { sel
2016-08-31 16:09:40
4576
原创 scalaTest的使用
配置修改pom.xml，添加以下内容<!--依赖--><dependency> <groupId>org.scalatest</groupId> <artifactId>scalatest_2.11</artifactId> <version>3.0.0</version> <scope>test</scope></dependency><!--插件--><plugin>
2016-08-30 12:59:31
6833
原创 Spark on Mesos cluster mode
cluster modespark cluster mode指的是将driver运行在cluster而不是client中。可以使用surpervise机制，指的是driver会自动的进行失败重试。mesos-dispatcher如果要在mesos中使用cluster模式，必须先开启mesos-dispatcher服务。启动mesos-dispatchersudo -u admin /usr/inst
2016-08-25 16:00:55
1236
原创 Spark不同Cluster Manager下的数据本地性表现
一. 概述Spark中的数据本地性分为两种executor 层面的数据本地性task 层面的数据本地性在两种本地性中，task层面的数据本地性是由Spark本身决定的，而executor的分发则是Cluter Manager控制的，因此下文主要描述在不同Cluster Manager中的executor分发机制。Spark Standalone Standalone提供了两种executo
2016-08-15 23:33:30
3308
原创 Spark & Livy
简介livy为Spark提供了REST接口，有如下特性: * 提供交互式shell * 批量提交 * 多用户使用用一个服务(用户模拟) * 可以从任何地方使用REST的方式提交 * 无需对代码进行任何修改获取源码，进行编译(如果编译不通过需使用vpn)git clone [email protected]:cloudera/livy.gitcd livy-mastermvn -Dspark.
2016-08-15 14:23:37
11265
spark_prometheus_metrics.json
2018-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人