![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Thinker aaa
这个作者很懒,什么都没留下…
展开
-
jave.io.IOException:No space left on device
jave.io.IOException:No space left on device集群服务器上执行spark-submit 命令报错:jave.io.IOException:No space left on device原因:SPARKHOME/work节点的目录空间满了解决方法:删除集群中所有节点SPARK_HOME/work 节点的目录空间满了解决方法:删除集群中所有节点SPARKHOME/work节点的目录空间满了解决方法:删除集群中所有节点SPARK_HOME/work 目录下的所有文原创 2021-05-09 17:27:19 · 617 阅读 · 0 评论 -
ssh: connect to host hadoop-slave1 port 22: Connection refused
在docker内或者物理机上启动hadoop集群 出现如下错误ssh: connect to host hadoop-slave1 port 22: Connection refused原因是:1.salve1上免密登录没有设置;2.ssh服务没有启动启动ssh服务的方法:原创 2021-04-12 10:26:16 · 4470 阅读 · 0 评论 -
spark任务执行报错 |Resolved attribute(s) ***in operator ! spark-sql子查询的字段名在父查询中无法解析
spark-sql子查询的字段名在父查询中无法解析Resolved attribute(s) *** in operator ! Attribute(s) with the same name appear in the operation: devFp. Please check if the right attribute(s) are used.问题原因:sparksql解析器的一个bug解决方法1:https://blog.csdn.net/x950913/article/details/10原创 2020-10-29 17:53:49 · 1924 阅读 · 0 评论 -
idea打包时报错: Error:scalac: missing or invalid dependency detected while loading class file ‘Logging.cl
idea打包时报错:Error:scalac: missing or invalid dependency detected while loading class file ‘Logging.class’.Could not access type LazyLogging in value com.typesafe.slf4j,because it (or its dependencies) are missing. Check your build definition formissing o原创 2020-10-28 10:39:29 · 791 阅读 · 0 评论 -
2020-10-28
idea打包时报错:Error:scalac: missing or invalid dependency detected while loading class file ‘Logging.class’.Could not access type LazyLogging in value com.typesafe.slf4j,because it (or its dependencies) are missing. Check your build definition formissing o原创 2020-10-28 10:35:58 · 445 阅读 · 0 评论 -
spark任务执行报错 | java.lang.StackOverflowError
java.lang.StackOverflowError 指的是堆栈溢出,往往是我们在执行spark-submit 脚本时分配的driver-memory 资源不够,如果分配2g报堆栈溢出,那就给4g 或者更大,可以解决问题!原创 2020-07-03 14:30:02 · 571 阅读 · 0 评论 -
spark任务执行报错 | java.lang.ClassNotFoundException: com.trusfort.ipa.graph.allVerticesDataProcess
我遇到的这个问题产生原因有两种:1.jar包路径在spark-submit命令后面写错了(粗心导致);2.在打jar包的时候依赖冲突,导致jar文件下的META-INF文件夹下多出.DSA文件和.SF文件(删除即可)删除后重新上传服务器,执行命令即可解决。...原创 2020-06-03 10:07:36 · 452 阅读 · 0 评论 -
SparkSQL 用户自定义函数(UDF、UDAF、开窗)
UDF: 操作单个数据行,产生单个数据行;UDAF: 操作多个数据行,产生一个数据行。UDTF: 操作一个数据行,产生多个数据行一个表作为输出。UDF函数通过spark.udf.register(“funcName”, func) 来进行注册使用:select funcName(name) from people 来直接使用开窗函数over()开窗函数:在使用聚合函数后,会将多行变...转载 2018-11-05 14:45:18 · 1090 阅读 · 0 评论 -
**sparksql 中DataFrame 的函数**
Action 操作1、 collect() ,返回值是一个数组,返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组,返回dataframe集合所有的行3、 count() 返回一个number类型的,返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean,...转载 2018-11-05 11:41:11 · 282 阅读 · 0 评论 -
**sparksql 中DataFrame 的函数**
Action 操作1、 collect() ,返回值是一个数组,返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组,返回dataframe集合所有的行3、 count() 返回一个number类型的,返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean,...转载 2018-11-05 11:40:32 · 236 阅读 · 0 评论