- 博客(5)
- 收藏
- 关注
RSS订阅原创 使用 VS Code 搭建 java + scala 开发环境
使用vs code 搭建 maven for scala and java 的项目工程
2022-06-07 20:06:49
5083
原创 为Spark 程序添加单元测试
为Spark 程序添加单元测试一、ScalaTest 测试框架二、Spark Application 该如何进行单元测试？三、 Spark Fast Tests 组件相比于传统代码，Spark是比较难调试的。程序运行在集群中，每次修改代码后，都要上传到集群进行测试，代价非常大，所以优先在本地进行单元测试，可以减少小模块的逻辑错误。一、ScalaTest 测试框架 ScalaTest...
2018-12-20 16:15:16
2973
原创 Spark 流数据处理简介
一、Spark 基础知识1.1 Spark 简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。1.2 核心概念介绍Spark常用术语介绍Application: Spark的应用程序，包含一个Driver program和若干ExecutorSparkContext: Spark...
2018-12-20 12:01:35
2868
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人