Spark
selfond
这个作者很懒,什么都没留下…
展开
-
DolphiScheduler平台上运行spark程序时,外部参数设置
DolphiScheduler平台上运行spark程序时,外部参数设置近期使用DS平台执行spark程序,遇到了部分参数设置的问题,代码中需要外部传入一个参数procDate(处理日期),具体设置如下:1. scala代码中需要传入时间和路径两个参数# scalaval procDate = args(0)val path= args(1)2. DS作业中设置这两个参数的格式在主程序参数栏中传递这两个参数的值:$[yyyy-MM-dd-1] /user/home/test/参数$[yyy原创 2022-05-10 14:39:30 · 1132 阅读 · 1 评论 -
java.io.IOException: (null) entry in command string: null ls -F E:\tmp\hive解决办法
### 问题:本地执行spark sql,生成数据是会出现java.io.IOException: (null) entry in command string: null ls -F E:\tmp\hive错误解决办法原创 2020-11-17 14:44:33 · 2591 阅读 · 4 评论 -
entry in command string: null chmod 0644 问题解决
问题:在WIndows操作系统中本地运行spark程序写文件操作时,报以下错误:....(null) entry in command string: null chmod 0644 ..(后面是目的目录)解决方法:下载hadoop.dll文件并拷贝到c:\windows\system32目录中然后重新运行代码程序即可hadoop.dll下载地址链接:https://pan.baidu.com/s/1Rb5ROUQMSqp7SeQINlLZkA 提取码:n8t6...原创 2020-11-11 17:12:13 · 2092 阅读 · 3 评论 -
Spark scala 一行转多行
Spark scala 一行转多行原始数据↓A a1,a2,a3B a4,a5C a3,a5D a1,a2,a3,a4E a1逻辑代码↓val data = source .map(s => { val tmp1 = arr(0) val tmp2 = arr(1).split(",") (tmp1, tmp2) }) .map(s => { s._2 .ma原创 2020-11-11 16:47:53 · 1541 阅读 · 0 评论