Spark
文章平均质量分 74
AiBigData
生而有涯,知而无涯.
不断迭代,实现自我.
展开
-
hive on spark Hive3.1.2 on Spark2.4.7单机环境
准备工作设备&电脑电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8), 已安装hive(3.1.2), 已安装hadoop(3.2.2)安装包https://archive.apache.org/dist/spark/spark-2.4.7/因为是hive on spark 所以我们使用spark-without-hadoop安装Spark解压Spark文件wget https://archive.apache.org/di原创 2021-08-27 16:35:42 · 805 阅读 · 0 评论 -
spark on hive=>spark3.1.2 on hive3.1.2 重新编译
hive on spark参考这篇文章wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2.tgz编译Saprk源码前置条件Maven 3.3.9 or newerJava 8+Scala修改文件 make-distribution.shMVN="/data/java/apache-maven-3.8.1/bin/mvn"先通过mvn下载相应的jar包mvn -Pyarn -Phive -Phive-th原创 2021-08-27 16:40:50 · 1904 阅读 · 0 评论 -
Spark高频面试题总结
1. Spark高频面试题总结1.1 Spark有几种部署方式?请分别简要论述Local:运行在一台机器上,通常是练手或者测试环境。Standalone:构建一个基于Mster+Slaves的资源调度集群,Spark任务提交给Master运行。是Spark自身的一个调度系统。Yarn: Spark客户端直接连接Yarn,不需要额外构建Spark集群。有yarn-client...原创 2019-10-30 18:48:01 · 6313 阅读 · 0 评论