spark
文章平均质量分 75
阳光里哭泣的狗
把自己当成普通人,稍微有点成就,就是上天的眷顾
展开
-
spark整合hive
目录安装hive配置信息启动spark测试安装hivehttps://blog.csdn.net/qq_43659234/article/details/111632216配置信息把配置好的hive-site.xml文件copy到spark的安装目录的conf下[root@spark01 conf]# cp hive-site.xml /usr/spark/spark-3.0.0-bin-hadoop3.2/conf/在spark的conf下的spark-env.sh中添加hive配置原创 2021-06-03 10:54:26 · 1778 阅读 · 1 评论 -
Spark_Core实例学习(三)SparkWordCount分析
目录原创 2021-05-28 10:58:30 · 1883 阅读 · 1 评论 -
Spark实例学习(二)sparkHA搭建
目录HA搭建下载zookeeperHA配置UI查看HA搭建下载zookeeperHadoop实例学习(十一)ZooKeeper安装HA配置修改spark-env.sh配置将下图之前配置好的的主节点信息注释并加上export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=spark01:2181,spark02:2181,spark03:2181 -Ds原创 2021-01-17 21:26:59 · 3458 阅读 · 0 评论 -
Spark实例学习(一)spark3.x集群搭建
目录spark安装包下载虚拟机搭建Hadoop集群搭建spark安装包下载http://archive.apache.org/dist/spark/我使用的是spark-3.0.0-bin-hadoop3.2.tgz虚拟机搭建Hadoop集群搭建Hadoop3.xHA搭建Hadoop3.x集群的搭建原创 2021-01-16 18:24:17 · 4739 阅读 · 1 评论