![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
小卢的博客
奥力奥力给~
展开
-
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
IDEA编写程序:spark SQL连接 hive报错:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning我的问题出现在:方法一:把hive-site.xml拷贝到idea的resources中后,hive-site.xml中的一个配置需要改:简单来说,把 “hive.execution.eng...原创 2019-10-17 15:47:34 · 7175 阅读 · 10 评论 -
sparksql用户自定义函数(UDF和聚合函数)
这段时间复习了spark,自己用spark sql 实现了udf和用户自定义函数。废话少说,直接上代码:DataFrame的用户自定义UDF函数用户根据业务情况自定义的函数实现某些功能//创建一个dfval df = spark.read.json(“in/user.json”)//创建一个临时表df.createOrReplaceTempView(“person”)//创建一个u...原创 2019-10-17 11:10:34 · 797 阅读 · 0 评论 -
eclipse创建scala项目时报错more than one scala library found in the builder path
最初我是建立了一个java项目,然后右键项目configure->add scala nature,将项目添加scala依赖。但是报错more than one scala library found in the builder path。。。。。我的解决办法:右键项目->configure builder path,将scala版本更换为2.10.6,再次刷新项目,...原创 2019-04-20 09:48:11 · 407 阅读 · 2 评论 -
spark版本和jdk版本报错
报错信息:java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0解决办法:helloword.scala(准备运行的代码)->run configuration->JRE->alternate j...原创 2019-04-20 10:09:53 · 2726 阅读 · 2 评论