【第22期】观点:IT 行业加班,到底有没有价值?

编写Spark测试用例

原创 2016年08月31日 16:09:40

使用scalaTest工具,用法参考:
scalaTest的使用

代码

src/test/tool/LocalSparkContext.scala

import org.apache.spark.{SparkConf, SparkContext}
import org.scalatest._

trait LocalSparkContext extends BeforeAndAfterAll {
  self: Suite =>

  @transient var sc: SparkContext = _

  override def beforeAll() {
    val conf = new SparkConf()
      .setMaster("local[2]")
      .setAppName("test")
    sc = new SparkContext(conf)
  }

  override def afterAll() {
    if (sc != null) {
      sc.stop()
    }
  }
}

src/test/SparkWCSuit

import org.apache.spark.sql.{Row, SQLContext}
import org.scalatest.FunSuite
import tool.LocalSparkContext

class SparkWCSuit extends FunSuite
  with LocalSparkContext {

//rdd wordCount
  test("test rdd wc") {
    sc.setLogLevel("ERROR")
    val rdd = sc.makeRDD(Seq("a", "b", "b"))
    val res = rdd.map((_, 1)).reduceByKey(_ + _).collect().sorted
    assert(res === Array(("a", 1), ("b", 2)))
  }

//df wordCount
  test("test df wc") {
    val sqlContext = SQLContext.getOrCreate(sc)
    import sqlContext.implicits._
    val df = sc.makeRDD(Seq("a", "b", "b")).toDF("word")
    val res = df.groupBy("word").count().collect()
    assert(res === Array(Row("a",1),Row("b",2)))
  }
}

结果

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Spark程序进行单元测试-使用scala

Spark 中进行一些单元测试技巧:最近刚写了一点Spark上的单元测试,发现一些小技巧,示例有是一些简单的伪代码,有问题或者不对的欢迎指正,有其他也欢迎补充rdd测试spark程序一般从集群中读取数...

Spark MLlib Statistics统计

1、Spark MLlib Statistics统计 Spark Mllib 统计模块代码结构如下: 1.1 列统计汇总 计算每列最大值、最小值、平均值、方差值、L1范数、L2范...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

实例数据汇总

目前文章中使用的数据,如还有不全的,可以留言,我再找找! http://pan.baidu.com/s/1c0jRuWK

spark MLlib学习-卡方检测

spark-卡方检测 卡方检测基本原理 卡方检测基本步骤 代码实现 *运行结果 代码块import org.apache.log4j.{Level, Logger} import org.apache...

Spark MLlib算法调用展示平台及其实现过程

1. 软件版本:IDE:Intellij IDEA 14,Java:1.7,Scala:2.10.6;Tomcat:7,CDH:5.8.0; Spark:1.6.0-cdh5.8.0-hadoop2....

分享Spark MLlib训练的广告点击率预测模型

2015年,全球互联网广告营收接近600亿美元,比2014年增长了近20%。多家互联网巨头都依赖于广告营收,如谷歌,百度,Facebook,互联网新贵们也都开始试水广告业,如Snapchat, Pin...
  • LW_GHY
  • LW_GHY
  • 2017-01-14 14:05
  • 1839

sparkmllib算法实例

逻辑回归import org.apache.spark.ml.classification.LogisticRegression// Load training data val training =...

spark利用MLlib实现kmeans算法实例

spark版本 1.3.1 scala系统环境2.10.4  程序编译版本2.11.8 需要注意的是,训练数据和待测试数据都要是浮点型的,如果是int型的数据的话会报错 packag...

spark自带的PageView测试用例

PageView所在位置:org.apache.spark.examples.streaming.clickstream默认的使用方法:1.bin/run-example org.apache.spa...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)