![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 63
mkflyfly
这个作者很懒,什么都没留下…
展开
-
记一次Hive元数据管理问题的处理过程
工作中需要在hive中存储数据,sparksql操作数据。按照网上的教程,将hive的conf目录下hive-default.xml拷贝到spark的conf目录下(当前hive下没有hive-site.xml,当时没有意识到这个会有问题),启动spark shell ./bin/spark-shell --master yarn-client --driver-class-path lib/m原创 2016-12-02 16:32:04 · 4315 阅读 · 0 评论 -
sparksql on hive实践
hive-site.xml拷贝到spark的conf目录下后,编程测试如下: import org.apache.spark._ object exptest { def main(args: Array[String]){ System.setProperty("hadoop.home.dir", "C:\\winutils\\") var masterUrl = "原创 2016-12-05 11:17:03 · 739 阅读 · 0 评论