spark
交个朋友@zdp
广交好友,共同奋斗
展开
-
Dataset写Hive表报错:Cannot create hive serde table with saveAsTable API;
原因是DataFrame API和Hive API不兼容,网上有Scala版本的解决办法https://www.jianshu.com/p/a91368a33a31。但是java版本的还不知道怎么解决。 Dataset goodstudentsDS = sparkSession.sql("SELECT SI.name,SI.age,SS.score" + " FROM stud...原创 2019-04-10 18:54:43 · 1902 阅读 · 1 评论 -
unable to find encoder for type stored in a Dataset
//使用sparksession创建DataFrame val userAcessLogRowDF = sparkSession.createDataFrame(userAcessLogRowRDD,structType) //正式使用内置函数contDistinct //uv指的是对用户去重后的访问总次数 userAcessLogRowDF.groupBy("date").agg('d...原创 2019-04-11 16:47:24 · 1001 阅读 · 0 评论 -
spark:java.lang.UnsupportedOperationException: loadTable is not implemented
java.lang.UnsupportedOperationException: loadTable is not implemented at org.apache.spark.sql.catalyst.catalog.InMemoryCatalog.loadTable(InMemoryCatalog.scala:316) at org.apache.spark....原创 2019-04-16 14:51:25 · 555 阅读 · 0 评论 -
Maven打包,可以打2个jar包,包含依赖包和不包含依赖包
<build> <sourceDirectory>src/main/java</sourceDirectory> <testSourceDirectory>src/main/java</testSourceDirectory> <plugins> <plugin> ...原创 2019-07-02 09:49:13 · 3341 阅读 · 0 评论