![](https://img-blog.csdnimg.cn/20210924200102784.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark集群配置
文章平均质量分 70
Spark集群配置
抢我糖还想跑
这个作者很懒,什么都没留下…
展开
-
Spark大数据实战之一:环境配置
1.1 运行环境说明1.1.1 软硬件环境 主机操作系统:Windows10 64位 处理器:Intel®Core™i7-6800K CPU 3 40GHZ 内存:16G 虚原创 2021-09-15 18:24:18 · 331 阅读 · 0 评论 -
Spark大数据实战之二:安装Hadoop
1、克隆并启动虚拟机第1步,若master已开启,首先将其关闭第2步,在左侧导航栏中,右键单击master客户机,选择“管理”-“克隆”选项,打开“克隆虚拟机向导”,单击下一步第3步,配置克隆源,单击下一步第4步,配置克隆类型,选择“创建完整克隆”,单击下一步第5步,配置克隆出的虚拟机名称与位置,名称设置为slave1,存放地址默认第6步,如法炮制,克隆出来虚拟机slave2,如下图第7步,分别在每台虚拟机页面中单击“开启此虚拟机”,启动三台虚拟机2、网络基本配置第1步,配置三原创 2021-09-17 19:04:51 · 384 阅读 · 0 评论 -
Spark大数据实战之三:Hadoop配置
一、Hadoop基础配置第1步,下载安装包网址:http://archive.apache.org/dist/hadoop/common/hadoop-2.5.2/第2步,移动到lala主目录下,并解压解压语句:tar -xvf hadoop-2.5.2.tar.gz解压后如下图所示:第3步,配置 hadoop-env.sh打开hadoop-env.sh,配置JDK路径gedit /home/lala/hadoop-2.5.2/etc/hadoop/hadoop-env.sh在原创 2021-09-21 00:53:08 · 976 阅读 · 0 评论 -
Spark大数据实战之四:Scala安装
1、下载解压scala压缩包去官网https://www.scala-lang.org/download/2.10.4.html下载scala与jdk版本是相匹配的,如果jdk版本过低,解压配置完环境变量后,测试scala -version可能会出现如下问题:意思是说jdk版本过低,需要更换更高版本或者下载较低版本的scala下载完毕后拖拽到lala用户目录下,执行如下语句进行解压tar -zvxf scala-2.10.4.tgz2、配置系统文件执行如下语句,打开.bash_prof原创 2021-10-01 19:49:43 · 303 阅读 · 2 评论 -
Spark大数据实战之五:Spark安装
1、下载解压spark安装包Apache官网下载Spark,拖拽到master节点上lala用户目录下,解压https://archive.apache.org/dist/spark/spark-1.4.0/执行如下语句进行解压缩tar -zvxf spark-1.4.0-bin-hadoop2.4.tgz2、配置Spark-env.sh(1) 进入spark-1.4.0-bin-hadoop2.4/conf,复制其中的spark-env.sh.template并另存为该目录下的spar原创 2021-10-01 20:20:04 · 383 阅读 · 0 评论