Spark
文章平均质量分 88
一花一世界~
记录学习、使用过程和经验,希望能对您有所帮助!
展开
-
记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群 spark-shell 运行 WordCount
[root@master ~]# vim /tmp/HelloSpark.txt[root@master ~]# hdfs dfs -mkdir -p /user/spark/in[root@master ~]# hdfs dfs -put /tmp/HelloSpark.txt /user/spark/in[root@master ~]# /usr/bigdata/spark-3.0.0-bin-hadoop3.2/bin/spark-shell[root@master ~]# touch /tm原创 2021-01-12 00:15:24 · 825 阅读 · 0 评论 -
记一次 基于 Hadpoop 3.3.0 完全分布式集群 Spark 3.0.0 集成 Hive 3.1.2
[root@master ~]# cp /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml /usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf//usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf[root@master conf]# cp spark-defaults.conf.template spark.conf[root@slave1 ~]# hdfs dfs -mkd原创 2021-01-14 00:46:34 · 1435 阅读 · 1 评论 -
记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
http://spark.apache.org/http://spark.apache.org/news/spark-3-0-0-released.htmlhttps://archive.apache.org/dist/spark/https://archive.apache.org/dist/spark/spark-3.0.0/[root@master ~]# wget -P /usr/bigdata/ https://archive.apache.org/dist/spark/spark-3原创 2021-01-11 23:32:58 · 3216 阅读 · 0 评论