![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 92
lwlha
这个作者很懒,什么都没留下…
展开
-
shell一键快速安装Hadoop/spark/hbase/kafka/redis集群
详细请见项目地址运行环境: centos 7想法起点:每次搭建集群都要丢失大量脑细胞,所以写一个小shell脚本,只需在其中一台节点执行,一盏茶的功夫Hadoop、spark、hbase、kafka、redis全部自动安装,并且根据自己的设置自动修改配置文件,达到自动配置,安装即用的目的对初学者来说是最友好的小工具。本文主要是介绍配置文件的各项参数。默认不安装Redis,如果需要安装,可以自己编译Redis的安装包并正确设置redis_address变量。安装失败后需要执行bash clean原创 2020-05-21 18:00:31 · 708 阅读 · 0 评论 -
Spark on yran配置以及开启历史记录服务
环境介绍jdk 1.8Scala 2.11.12Spark 2.4.51. spark-env.sh文件需要根据实际情况修改,在原来模板上只需要追加此行,不需要设置master等等,因为提交yran执行只需要一台机器有spark即可。# 指定yran的配置文件目录export YARN_CONF_DIR=/home/hadoop/apps/hadoop-2.7.7/etc/hadoop2. spark-defaults.conf/spark/logs目录要预先创建spark.yar原创 2020-05-20 09:56:32 · 395 阅读 · 0 评论