![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
工作与学习过程中碰到的问题和总结
ITboy-Bear
这个作者很懒,什么都没留下…
展开
-
spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource
环境: CDH6.3.2 Kudu 1.10.0-cdh6.3.2 Spark2.4.0-cdh6.3.2 错误: java.lang.ClassNotFoundException: Failed to find data source: org.apache.kudu.spark.kudu. java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource 解决: 将/opt/clouder..原创 2020-10-22 14:47:27 · 1487 阅读 · 0 评论 -
使用SparkSQL迁移oracle数据到impala创建的kudu表中,出现Primary key column riskcode is not set错误
前段时间公司业务需求,需要把oracle中的数据迁移到数据仓库中(kudu整合的hive),为了使用kudu方便,kudu的日常操作通过impala来完成。由于第一次整合sparkSQL与kudu,所以打算通过一些demo记录一下遇到的问题。 oracle数据导入到kudu中,代码如下: object OracleToKudu { def main(args: Array[String]): Unit = { val spark = SparkSession.builder....原创 2020-10-22 14:01:45 · 1375 阅读 · 0 评论