![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 79
奥卡姆的剃刀
GitHub: https://github.com/LeronQ
展开
-
Hive高级优化的各种方法
1:压缩首先打开hive的压缩功能命令:set hive.exec.compress.intermediate=true;开启map端数据压缩功能命令:set mapreduce.map.output.compress=true;设置map端的数据压缩格式:命令:set mapreduce.map.output.compress.codec=org.apache.hadoop.io...原创 2019-03-25 09:42:52 · 4696 阅读 · 0 评论 -
SparkSQL集成Hive
(1)相关配置:将以下文件拷贝到 $SPARK_HOME/conf 目录下Hive: hive-site.xmlHadoop: core-site.xml和hdfs-site.xml同时,启动Spark shell 的时候,需要制定mysql的驱动首先查看core-site.xml,hdfs-site.xml,hive-site.xml(2)拷贝mys...原创 2019-08-05 16:37:47 · 4154 阅读 · 2 评论