编写Spark测试用例

原创 2016年08月31日 16:09:40

使用scalaTest工具,用法参考:
scalaTest的使用

代码

src/test/tool/LocalSparkContext.scala

import org.apache.spark.{SparkConf, SparkContext}
import org.scalatest._

trait LocalSparkContext extends BeforeAndAfterAll {
  self: Suite =>

  @transient var sc: SparkContext = _

  override def beforeAll() {
    val conf = new SparkConf()
      .setMaster("local[2]")
      .setAppName("test")
    sc = new SparkContext(conf)
  }

  override def afterAll() {
    if (sc != null) {
      sc.stop()
    }
  }
}

src/test/SparkWCSuit

import org.apache.spark.sql.{Row, SQLContext}
import org.scalatest.FunSuite
import tool.LocalSparkContext

class SparkWCSuit extends FunSuite
  with LocalSparkContext {

//rdd wordCount
  test("test rdd wc") {
    sc.setLogLevel("ERROR")
    val rdd = sc.makeRDD(Seq("a", "b", "b"))
    val res = rdd.map((_, 1)).reduceByKey(_ + _).collect().sorted
    assert(res === Array(("a", 1), ("b", 2)))
  }

//df wordCount
  test("test df wc") {
    val sqlContext = SQLContext.getOrCreate(sc)
    import sqlContext.implicits._
    val df = sc.makeRDD(Seq("a", "b", "b")).toDF("word")
    val res = df.groupBy("word").count().collect()
    assert(res === Array(Row("a",1),Row("b",2)))
  }
}

结果

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

Spark程序进行单元测试-使用scala

Spark 中进行一些单元测试技巧:最近刚写了一点Spark上的单元测试,发现一些小技巧,示例有是一些简单的伪代码,有问题或者不对的欢迎指正,有其他也欢迎补充rdd测试spark程序一般从集群中读取数...

Scala使用JUnit4单元测试

Scala使用JUnit4单元测试Maven pom: junit junit 4.11 test Test code:import org.junit.{Assert, Test...

Scala单元测试

转载自: http://blog.sina.com.cn/s/blog_a3869e9a01017dcn.html Scala 的单元测试可以使用Java的JUnit 或 Scala的Scala...

spark自带的PageView测试用例

PageView所在位置:org.apache.spark.examples.streaming.clickstream默认的使用方法:1.bin/run-example org.apache.spa...

spark 例子运行- spark pi

了解spark的基本运行,在window下面的应用。了解本地运行一个spark程序的过程。...
  • proware
  • proware
  • 2015年11月07日 13:33
  • 11838

spark 环境搭建及几种模式测试

spark安装部署标签(空格分隔): sparkhadoop,spark,kafka交流群:224209501, spark on yarn;spark standalone;spark hadoo...

spark 案例集群测试整理

时间:20150210 工作过程:今天打算使用spark 自带的案例sparkpi 对集群进行测试,主要向了解集群启动过程及机器的负载情况。没想到问题还还真不少,感谢群友,特别是hali 支持。 主...

如何用 Robot Framework 来编写优秀的测试用例

介绍 这是一篇描述怎么用 Robot Framework 来编写优秀测试用例的高级指南。 至于如何使用 Robot Framework 来与您的待测试系统相作用这样的细节讨论是不包含在这篇文档中的。...

php接口自动化测试用例编写

最近用php写完了一版项目的接口,代码有点多,意味着bug也会很多,人工测试起来有点麻烦,于是准备用php编写一个测试bug的程序。以前是没有这种意识的。这篇文章主要是提醒我未来程序写完后,能养成编写...

Android 编写测试用例

测试是软件工程中一个非常重要的环节,而测试用例又可以显著地提高测试的效率和准确性。测试用例其实就是一段普通的程序代码,通常是带有期望的运行结果的,测试者可以根据最终的运行结果来判断程序是否能正常工作。...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:编写Spark测试用例
举报原因:
原因补充:

(最多只允许输入30个字)