![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
山海王子
这个作者很懒,什么都没留下…
展开
-
Spark SQL
Spark SQL简介 在Hadoop体系中,有Hive可以帮助我们将SQL转换为MR程序,Hive的基本架构如下: Hive的工作流程为 因此,我们说Hive在Hadoop体系中扮演的是“编程”的角色,它本身并没有存储数据。 同样的,在我们使用Spark时,也很自然的会有这样的需求——通过编写SQL获取结果,避免重复的编写大量Spark程序代码。 在初期是,Shark就是扮演这样的角色,因此也被称为“Hive on Spark”。甚至Shark的整体架构和Hive都是类似的,区别是Hive将SQL转换原创 2020-08-06 19:35:16 · 317 阅读 · 0 评论 -
在Hadoop集群中部署Spark
Hadoop环境基于如何搭建Hadoop HA集群 准备工作 spark-2.4.5-bin-without-hadoop.tgz 修改配置 spark-env.sh export JAVA_HOME=/usr/local/src/jdk1.8.0_241/ export HADOOP_HOME=/usr/local/src/hadoop-2.10.0 export SPARK_DIST_CLASSPATH=$(/usr/local/src/hadoop-2.10.0/bin/hadoop clas原创 2020-05-12 00:46:20 · 468 阅读 · 0 评论