Scala-Spark项目踩坑小结

最新推荐文章于 2024-05-22 09:32:47 发布
最新推荐文章于 2024-05-22 09:32:47 发布
阅读量896 收藏
点赞数
分类专栏： spark Scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/you_are_my_mr_right/article/details/106219258
版权
本文记录了一个从零开始的Scala-Spark项目中遇到的问题，包括Scala隐式转换错误、版本不一致问题、DataFrame写入HDFS压缩、空jar包上传、List与Array用法、picocli命令行参数解析以及snakeyaml读取复杂YAML结构等挑战，为初学者提供了参考。
摘要由CSDN通过智能技术生成

项目环境

Java8，Maven3.1，Scala2.11，Spark2.3

项目介绍

本项目致力于通过统计信息分析多个文件的差异，它支持指定一列或者多列比较统计信息，最终产生分析报表和差异数据。主要用于检查公司内部hadoop sql转移到spark中由于数据和sql本身的问题和转移翻译过程中产生的job阶段产物差错检测。

项目踩坑

下面是真从0到1的过程，因为在写这个项目前，我完全没有任何spark和scala的经验，以下经验供小白入门者的问题参考。

1.Scala隐式转换问题
当我使用filter($"param" === 0)报错，“Value '$' is not a member of StringContext”,这里是缺少隐式转换的引包（import self.sparkSession.implicits._）后面去了解了一下Scala中关于隐式转换的内容，到现在也不算太懂，但是大概知道什么时候需要隐式转换了。

2.Scala、Spark版本不一致问题
在idea中直接run或者debug能启动spark job，但是mvn clean package后通过spark-submit无法正常运行，可能的原因是pom.xml文件中的scala、spark版本和本地的scala、spark版本不同造成的。（一开始，我通过这种方式跑了一个WordCount没问题，没有冲突的地方，后来一个复杂的job再通过这种方式就会冲突了。）
也有因为scala的compile和run的版本不一致,如下面这种，2.11和2.12发生冲突的情况，将两个版本保持一致即可。
 <

最低0.47元/天 解锁文章
Blue Wave
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scala-spark-tutorial：詹姆斯的Apache Spark项目与Scala课程
02-05
在"scala-spark-tutorial-master"这个压缩包中，你将找到James的课程材料，包括代码示例、讲解文档和可能的练习题。这些资源将帮助你逐步掌握Spark与Scala的结合使用，从而在大数据领域提升技能。务必动手实践，通过...
YML解析框架SnakeYaml简介
热门推荐
靖节先生的博客
01-25 1万+
YML解析框架SnakeYaml简介1. SnakeYaml概述1.1 yml简介1.2 SnakeYaml简介2. SnakeYaml实现验证2.1 snakeyml依赖2.2 snakeyml实现验证 1. SnakeYaml概述 1.1 yml简介 yaml简称yml，什么是yml，官方解释说，yml不是标记性语言，YAML 是一种人性化的数据序列化，适应所有编程语言的语言。 yml官网地址：https://yaml.org/ 1.2 SnakeYaml简介 SnakeYaml就是用于解析YAML，
Spark-Scala应用遇到DataFrame中Filter异常-Cannot resolve overloaded method ‘filter‘
木卫二号的专栏
04-07 332
Spark-Scala应用遇到DataFrame中Filter异常
推荐使用：Scala CLI - 简化 Scala 开发的命令行工具
gitblog_00019的博客
05-22 335
推荐使用：Scala CLI - 简化 Scala 开发的命令行工具 项目地址:https://gitcode.com/VirtusLab/scala-cli Scala CLI 是一个强大的命令行工具，专为与 Scala 语言交互而设计。它提供了编译、运行、测试和打包代码的能力，而且还有更多功能等待你的发掘。尽管它在某些方面类似于构建工具，但它的目标并不是处理多模块项目或扩展任务系统。 项目介绍...
使用Spark写入Hive时，报错Cannot write nullable values to non-null column ***
Xuejiujiu的博客
09-29 722
Cannot write nullable values to non-null column *** spark写入hive时报错无法写入空值
Hadoop入门——MapReduce中的压缩
东天里的冬天
08-10 1111
作为输入 当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。 作为输出 当mapreduce的输出文件需要压缩时，可以更改mapred.output.compress为true，mapped.output.compression.codec为想要使用的codec的类名就 可以了，当然你可以在代码中指定，通过调用FileOutputFo...
spark获取目录或路径的大小
盛源的博客
06-04 1323
1 获取路径或目录大小 /** * 获取某个目录的大小(单位b字节),注意：只能在driver端使用，可以多线程来提速。 */ def get_path_size(spark: SparkSession, path: String): Long = { //取文件系统 val filePath = new org.apache.hadoop.fs.Path( path ) val fileSystem = filePath.getFileSystem( spark.sparkContex
scala-spark-clustering:使用Spark框架实现聚类算法的Scala实现
06-28
使用 Spark 框架在 Scala 中实现和聚类算法。 算法仅处理二维（ x和y ）数据。 DBSCAN 程序参数： <input_file> <min> K均值 程序参数： <input_file> <number> 数据集 包含示例数据集文件 - data....
Scala-hadoop-spark-新教程含金量最高的大数据教程
最新发布
07-13
### Scala-Hadoop-Spark 新教程知识点总结 #### 一、Scala、Hadoop、Spark基础知识概述 **1. Scala语言** Scala是一种多范式编程语言，它结合了面向对象编程和函数式编程的特点，旨在提高代码的简洁性和可读性。...
wn-scala-spark-sample
03-21
wn-scala-spark-sample
基于Scala的spark-study学习项目设计源码
04-18
本项目是基于Scala的spark-study学习项目设计源码，包含27个文件，其中主要包含10个xml配置文件，6个class字节码文件，3个scala源代码文件等。项目旨在为学习Spark提供一个实践平台，通过Scala编程语言和Spark框架，...
value '$' is not a member of StringContext
zajbetterme的博客
10-08 1582
解决方案： 在获取sparkSession之后，添加import spark.implicits._
[org.apache.spark.streaming.dstream.FileInputDStream] - Error finding new files
weixin_30552635的博客
08-16 808
WARN [main] [org.apache.spark.util.Utils] - Service 'SparkUI' could not bind on port 4040. Attempting port 4041. WARN [JobGenerator] [org.apache.spark.streaming.dstream.FileInputDStream] - E...
总结最近两周在使用spark scala下遇到一些坑
疯狂的鸡窝
07-17 316
耐心看日志信息： spark集群有主控driver和executor的区别，通常我们会在driver端打出一些日志作为提示，但如果把日志打到了executor上执行的算子上，那么日志旧不能再sparksubmitweb上查询到（当时花了好久定位日志…）。 通常运行出来的日志比较长，耐心看日志也可以查到其中什么原因导致的出错。 通常foreach语句使用在collect之后的driver端数据，否者中途生成的变量都还是再executor端，没有会中统计。 写代码的时候需要考虑当前数据量有多大，是放在driv.
scala spark编程常见问题总结
sivolin的专栏
07-28 5112
问题：ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkDriver-akka.remote.default-remote-dispatcher-8] shutting down ActorSystem [sparkDriver]15/07/28 13:46:59 ERROR ActorSystemImpl: Uncaught
spark-scala系列——使用技巧+异常处理汇总
有信念，才能走的更远
05-30 408
1、使用VectorAssembler()将多个dataframe数值列以及数组列合并到一列（）中去 问题描述： spark内部有优化处理，当使用rdd+row方式获取
spark（scala版本）提交jar到集群环境的常见问题
liaomingwu的专栏
02-28 1131
spark（scala版本）提交jar到集群环境的常见问题，包括找不到启动类，不显示运行应用问题 Running Applications (0)的问题和集群环境有的包，pom.xml配置依赖时使用provided。
hadoop深入研究:(九)——mapreduce中的压缩
wisgood的专栏
12-31 7396
转载请注明出处：http://blog.csdn.net/lastsweetop/article/details/9187721 作为输入 当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。 作为输出 当mapreduce的输出文件需要压缩时，可以更改mapred.output.compress为true，mapped.out
Hadoop,Spark ：文件输出压缩
Make progress step by step everyday.....
12-15 721
Spark最终结果压缩 sparkContext.textFile(inputPath).flatMap(x => { TestLog.readFromString(x) }).saveAsTextFile(outputPath, classOf[GzipCodec])123 MapReduce最终结果的压缩 FileOutputFormat.setCompressOutput(
scala-spark sql 查询、输出demo
06-28
### 回答1： 以下是一个简单的Scala-Spark SQL查询和输出的示例： ```scala import org.apache.spark.sql.SparkSession object SparkSQLDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("SparkSQLDemo") .master("local[*]") .getOrCreate() // 读取CSV文件并创建DataFrame val df = spark.read .option("header", "true") .option("inferSchema", "true") .csv("path/to/csv/file") // 创建临时表 df.createOrReplaceTempView("people") // 执行SQL查询 val result = spark.sql("SELECT * FROM people WHERE age > 30") // 输出结果 result.show() spark.stop() } } ``` 这个示例演示了如何使用SparkSession对象读取CSV文件并创建DataFrame，然后将DataFrame注册为一个临时表，最后执行SQL查询并输出结果。在这个示例中，我们查询了所有年龄大于30岁的人的信息。 ### 回答2： Spark SQL是Spark中一个用于分布式数据处理的模块，它提供了一个用于结构化数据处理的SQL查询引擎。Scala是一种在JVM上运行的编程语言，它被广泛用于Spark中的开发。本文将介绍Scala-Spark SQL的查询和输出demo。 首先，我们需要导入Spark SQL的包： ```scala import org.apache.spark.sql.SparkSession ``` 然后，我们需要创建一个SparkSession对象： ```scala val spark = SparkSession.builder.appName("ScalaSparkSQLDemo").getOrCreate() ``` 接下来，我们可以通过以下代码从csv文件中读取数据并创建一个DataFrame对象： ```scala val df = spark.read.option("header", "true").option("delimiter", ",").csv("path/to/file.csv") ``` 上述代码中，“header”选项表示csv文件的第一行被视为列名，而“delimiter”选项表示csv文件中使用的字段分隔符。在这里，我们将csv文件的路径指定为“file.csv”。 接下来，我们可以执行SQL查询： ```scala df.createOrReplaceTempView("people") val result = spark.sql("SELECT * FROM people WHERE age > 21") ``` 上述代码中，“createOrReplaceTempView”方法将DataFrame注册为可临时使用的表，表名为“people”。然后我们执行SQL查询语句：“SELECT * FROM people WHERE age > 21”，筛选出age大于21的所有行。 最后，我们可以将结果输出到控制台： ```scala result.show() ``` 上述代码中，“show”方法将结果以表格形式输出到控制台。 整个Scala-Spark SQL查询输出demo的代码如下： ```scala import org.apache.spark.sql.SparkSession object ScalaSparkSQLDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName("ScalaSparkSQLDemo").getOrCreate() val df = spark.read.option("header", "true").option("delimiter", ",").csv("path/to/file.csv") df.createOrReplaceTempView("people") val result = spark.sql("SELECT * FROM people WHERE age > 21") result.show() spark.stop() } } ``` 注意，我们还需在代码结尾使用“spark.stop()”方法，以关闭SparkSession对象，释放资源。 以上是Scala-Spark SQL查询输出demo的详细说明，开发者们可以根据需求进行修改和应用。 ### 回答3： Scala-Spark是大数据处理和分析领域的重要框架之一，其提供了强大的数据分析和处理工具，其中包括Spark SQL。Spark SQL是将结构化数据和非结构化数据整合到一起进行分析和处理的一个模块，基于Spark Core数据处理引擎，并支持使用Scala、Java和Python等语言进行编程。 下面我们来看一个Scala-Spark SQL的查询和输出Demo： 首先需要导入相应的包，因为使用的是Spark 2.4版本，所以需要导入spark-sql的jar包： ```scala import org.apache.spark.sql.SparkSession ``` 然后创建一个SparkSession对象： ```scala val spark = SparkSession.builder().appName("Spark SQL Demo").master("local[*]").getOrCreate() ``` 接下来读入数据，构建DataFrame，比如我们在本地有一个people.csv文件，有两列数据：name和age，我们可以使用如下代码读取该文件构建DataFrame： ```scala val file = "people.csv" var peopleDF = spark.read.format("csv").option("header","true").load(file) ``` 然后我们对DataFrame数据进行一些操作，例如筛选出年龄大于30的人： ```scala var resultDF = peopleDF.filter("age > 30") ``` 接下来我们可以将结果输出到控制台，使用show()方法： ```scala resultDF.show() ``` 最后记得关闭SparkSession对象： ```scala spark.stop() ``` 以上就是Scala-Spark SQL查询与输出的基本Demo，这些代码可以帮助你了解在Scala中如何使用Spark SQL来进行数据查询和输出。当然，Spark SQL还有很多强大的功能和语法，需要大家自己去探索和学习。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值