Spark
工作与学习过程中碰到的问题和总结
ITboy-Bear
这个作者很懒,什么都没留下…
展开
-
spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource
环境:CDH6.3.2Kudu 1.10.0-cdh6.3.2Spark2.4.0-cdh6.3.2错误:java.lang.ClassNotFoundException: Failed to find data source: org.apache.kudu.spark.kudu.java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource解决:将/opt/clouder..原创 2020-10-22 14:47:27 · 1568 阅读 · 0 评论 -
使用SparkSQL迁移oracle数据到impala创建的kudu表中,出现Primary key column riskcode is not set错误
前段时间公司业务需求,需要把oracle中的数据迁移到数据仓库中(kudu整合的hive),为了使用kudu方便,kudu的日常操作通过impala来完成。由于第一次整合sparkSQL与kudu,所以打算通过一些demo记录一下遇到的问题。oracle数据导入到kudu中,代码如下:object OracleToKudu { def main(args: Array[String]): Unit = { val spark = SparkSession.builder....原创 2020-10-22 14:01:45 · 1431 阅读 · 0 评论
分享