hadoop3.1.1+scala2.12.8+spark2.4.0分布式集群搭建

最新推荐文章于 2024-08-07 20:31:19 发布
最新推荐文章于 2024-08-07 20:31:19 发布
阅读量1.9k 收藏 8
点赞数 2
分类专栏： Spark相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jato333/article/details/85101148
版权

1前期准备

1.1软件

  1. jdk-8u191-linux-x64.tar.gz
  2. hadoop-3.1.1.tar.gz
  3. scala-2.12.8.gz
  4. spark-2.4.0-bin-hadoop2.7.gz

1.2集群规划

IP

Hostname

安装内容

192.168.56.11

spark1

Hadoop\scala\spark

192.168.56.12

Spark2

Hadoop\scala\spark

192.168.56.13

Spark3

Hadoop\scala\spark

2安装步骤

2.1上传软件(spark1)

将JDK、hadoop、scala、spark等软件上传至spark1服务器

2.2修改hosts文件(spark1\spark2\spark3)

vi /etc/hosts

192.168.56.11 spark1

192.168.56.12 spark2

192.168.56.13 spark3

2.3 ssh互信（免密码登录）

在三台机器上执行以下命令：

mkdir ~/.ssh

chmod -R 700 ~/.ssh

cd .ssh

ssh-keygen -t rsa

分别将其他两台机器的密钥文件拷贝至spark1

1）在spark2上执行：

scp id_rsa.pub root@spark1:~/.ssh/id_rsa.pub.spark2

2）在spark3上执行：

scp id_rsa.pub root@spark1:~/.ssh/id_rsa.pub.spark3

3）在spark1上合并密钥文件

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.spark2 >> authorized_keys

cat id_rsa.pub.spark3 >> authorized_keys

chmod 600 ~/.ssh/authorized_keys

4）将合并后的密钥文件分发至其他两台机器（spark2\spark3）

scp ~/.ssh/authorized_keys root@spark2:~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@spark3:~/.ssh/authorized_keys

5）在三台机器上分别进行ssh测试

ssh spark1

ssh spark2

ssh spark3

2.4解压相关软件(spark1)

cd /opt

tar -xvf jdk-8u191-linux-x64.tar.gz

tar -xvf hadoop-3.1.1.tar.gz

tar -xvf scala-2.12.8.tgz

tar -xvf spark-2.4.0-bin-hadoop2.7.tgz

2.5分发基础环境

将jdk和scala分发至其他两台机器（spark2\spark3）

scp -r /opt/jdk1.8.0_191 root@spark2:/opt/jdk1.8.0_191

scp -r /opt/jdk1.8.0_191 root@spark3:/opt/jdk1.8.0_191

scp -r /opt/scala-2.12.8 root@spark2:/opt/scala-2.12.8

scp -r /opt/scala-2.12.8 root@spark3:/opt/scala-2.12.8

2.6修改配置文件

在三台机器上修改配置文件，并使配置文件生效

vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_191

export HADOOP_HOME=/opt/hadoop-3.1.1

export SCALA_HOME=/opt/scala-2.12.8

export SPARK_HOME=/opt/spark-2.4.0-bin-hadoop2.7/

export PATH=$SPARK_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

执行source /etc/profile，使配置文件生效

接下来，测试基础环境是否配置无误。

java -version

scala –version

2.7 Hadoop完全分布式搭建

2.7.1创建hadoop相关目录

在spark1上创建hadoop相关目录

mkdir -p /opt/hadoop-3.1.1/hadoop/tmp

mkdir -p /opt/hadoop-3.1.1/hadoop/data

mkdir -p /opt/hadoop-3.1.1/hadoop/name

2.7.2修改相应的配置文件

以下内容在spark1上执行

2.7.2.1 修改hadoop-env.sh文件

命令：vi /opt/hadoop-3.1.1/etc/hadoop/hadoop-env.sh

头部添加以下内容：

export JAVA_HOME=/opt/jdk1.8.0_191

export HADOOP_PREFIX=/opt/hadoop-3.1.1

2.7.2.2修改yarn-env.sh文件

命令：vi /opt/hadoop-3.1.1/etc/hadoop/yarn-env.sh

头部添加以下内容：

export JAVA_HOME=/opt/jdk1.8.0_191

2.7.2.3修改core-site.xml文件

命令：vi /opt/hadoop-3.1.1/etc/hadoop/core-site.xml

<configuration>

   <property>

        <name>fs.defaultFS</name>

        <value>hdfs://spark1:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-3.1.1/hadoop/tmp</value>

    </property>

</configuration>

2.7.2.4修改hdfs-site.xml文件

命令：vi /opt/hadoop-3.1.1/etc/hadoop/hdfs-site.xml

<configuration>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>spark1:50070</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/opt/hadoop-3.1.1/hadoop/name</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/opt/hadoop-3.1.1/hadoop/data</value>

    </property>

</configuration>

2.7.2.5修改mapred-site.xml文件

命令：vi /opt/hadoop-3.1.1/etc/hadoop/mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>yarn.app.mapreduce.am.env</name>

         <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.1/</value>

    </property>

    <property>

        <name>mapreduce.map.env</name>

         <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.1/</value>

    </property>

    <property>

        <name>mapreduce.reduce.env</name>

         <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.1/</value>

    </property>

</configuration>

注意此处标红的部分，该部分在测试hadoop的mapreduce时，需要制定该内容，否则会报以下错误

2.7.2.6修改workers文件

命令：vi /opt/hadoop-3.1.1/etc/hadoop/workers

spark1

spark2

spark3

2.7.2.7修改yarn-site.xml文件

命令：vi /opt/hadoop-3.1.1/etc/hadoop/yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>spark1</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

    <property>

        <name>yarn.nodemanager.resource.cpu-vcores</name>

        <value>1</value>

    </property>

    <property>

　　    <name>yarn.resourcemanager.address</name>

　　    <value>spark1:8032</value>

　  </property>

　  <property>

　　    <name>yarn.resourcemanager.scheduler.address</name>

　　    <value>spark1:8030</value>

　  </property>

　  <property>

　　    <name>yarn.resourcemanager.resource-tracker.address</name> 

　　    <value>spark1:8031</value>

　  </property>

　  <property>

　　　  <name>yarn.resourcemanager.admin.address</name>  

　　　  <value>spark1:8033</value>

　  </property>

　  <property> 

　　　  <name>yarn.resourcemanager.webapp.address</name>

　　　  <value>spark1:8088</value>

　  </property>

</configuration>

2.7.2.8修改start-dfs.sh文件

命令：vi /opt/hadoop-3.1.1/sbin/start-dfs.sh

头部添加以下内容：

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

2.7.2.9修改stop-dfs.sh文件

命令：vi /opt/hadoop-3.1.1/sbin/ stop-dfs.sh

头部添加以下内容：

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

2.7.2.10修改start-yarn.sh文件

命令：vi /opt/hadoop-3.1.1/sbin/start-yarn.sh

头部添加以下内容：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

2.7.2.11修改stop-yarn.sh文件

命令：vi /opt/hadoop-3.1.1/sbin/stop-yarn.sh

头部添加以下内容：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

2.7.2.12修改start-all.sh文件

命令：vi /opt/hadoop-3.1.1/sbin/start-all.sh

头部添加以下内容：

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

2.7.2.13修改stop-all.sh文件

命令：vi /opt/hadoop-3.1.1/sbin/stop-all.sh

头部添加以下内容：

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

2.7.3分发hadoop 文件

将配置好的hadoop文件夹分发至spark2和spark3

scp -r /opt/hadoop-3.1.1 root@spark2:/opt/hadoop-3.1.1

scp -r /opt/hadoop-3.1.1 root@spark3:/opt/hadoop-3.1.1

2.7.4格式化hadoop集群

在spark1上执行格式化命令：

/opt/hadoop-3.1.1/bin/hdfs namenode –format

2.7.5启动hadoop集群

在spark1上启动hadoop集群：

/opt/hadoop-3.1.1/sbin/start-all.sh

验证hadoop集群

在三台机器上分别执行jps

在spark1上执行jps：

在spark2上执行jps：

在spark3上执行jps：

访问http://192.168.56.11:50070

访问http://192.168.56.11:8088

至此，hadoop分布式集群已经搭建完成。

2.8 Spark完全分布式搭建

2.8.1修改相应的配置文件

2.8.1.1修改spark-env.sh文件

命令：

cp /opt/spark-2.4.0-bin-hadoop2.7/conf/spark-env.sh.template /opt/spark-2.4.0-bin-hadoop2.7/conf/spark-env.sh

vi /opt/spark-2.4.0-bin-hadoop2.7/conf/spark-env.sh

头部添加以下内容：

export SCALA_HOME=/opt/scala-2.12.8

export JAVA_HOME=/opt/jdk1.8.0_191

export SPARK_MASTER_IP=spark1

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/opt/hadoop-3.1.1/etc/hadoop

2.8.1.2修改slaves文件

命令：

cp /opt/spark-2.4.0-bin-hadoop2.7/conf/slaves.template /opt/spark-2.4.0-bin-hadoop2.7/conf/slaves

vi /opt/spark-2.4.0-bin-hadoop2.7/conf/slaves

spark1

spark2

spark3

2.8.2分发spark文件夹

将修改好的spark文件夹分发至其他两台机器（spark2\spark3）

scp -r /opt/spark-2.4.0-bin-hadoop2.7 root@spark2:/opt/spark-2.4.0-bin-hadoop2.7

scp -r /opt/spark-2.4.0-bin-hadoop2.7 root@spark3:/opt/spark-2.4.0-bin-hadoop2.7

2.8.3启动spark集群

在spark1上执行启动集群的命令。

/opt/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh

验证spark集群，在三台机器上分别执行jps

在spark1上执行

在sark2上执行

在spark3上执行

3测试集群

这里采用最简单最常用的Wordcount来测试，测试的源文件/opt/wordcount.txt的内容为:

Hello hadoop

hello spark

hello bigdata

3.1测试hadoop集群

3.1.1上传文件至hdfs

执行下列命令：

hadoop fs -mkdir -p /Hadoop/Input

hadoop fs -put /opt/wordcount.txt /Hadoop/Input

将文件上传至hdfs

3.1.2执行mapreduce

命令：

hadoop jar /opt/hadoop-3.1.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /Hadoop/Input /Hadoop/Output

 

在执行job的过程中，我们可以查看http://192.168.56.11:8088/cluster的状态

执行成功之后

在spark1上查看mapreduce执行过程

在spark1上查看结果

hadoop fs -cat /Hadoop/Output/*

hadoop集群搭建成功！

3.2测试spark集群

我们使用spark-shell，做一个简单的worcount测试，直接使用已经在hdfs上存储了测试的源文件。

3.2.1启动spark-shell

命令：spark-shell

执行以下命令：

val file=sc.textFile("hdfs://spark1:9000/Hadoop/Input/wordcount.txt")

val rdd = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

rdd.collect()

rdd.foreach(println)

运行后的结果和mapreduce是一样的，spark集群也搭建成功！

手里没有王
关注
专栏目录
hadoop3.x+scala+spark-mac血泪安装经验！！
weixin_42766102的博客
02-28 928
hadoop3.x+scala+spark-mac血泪安装经验！！总结：hadoop3.x 安装踩坑填坑配置环境变量(hadoop3+scala+spark)scala安装spark安装 总结： 最折腾的步骤是在hadoop的安装，我尝试安装了4次，前两次直接用brew install hadoop+其他博客上的安装教程，后面两次直接按照hadoop官网说的安，第三次是因为我安装在/usr/loc...
搭建hadoop+spark完全分布式集群环境
weixin_46305053的博客
07-13 1231
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /home/hadoop/apps #解压到apps下。进入/home/hadoop/apps/hadoop-2.7.6/etc/Hadoop。sudo vi /etc/profile #修改配置文件。start-slaves.sh //启动从节点。start-master.sh //启动主节点。拷贝到slave1和slave2中。拷贝到slaves1,slaves中。//将其拷贝到其他机子上。
Hadoop 3.1.1+Spark 2.4 安装部署手册
12-07 595
Spark安装 Spark2.1.0完全分布式环境搭建：MASTER节点：1.下载文件：wget -O "spark.tgz" "http://d3kbcqa49mib13.cloudfront.net/spark.tgz"2.解压并移动至相应的文件夹;tar -xvf spark.tgzmv spark /opt3.修改相应的配置文件：（1）vi /etc/profie#Sp...
Scala与Spark：大数据处理的完美组合
最新发布
2401_85639015的博客
08-07 1112
函数式编程：支持高阶函数、不可变数据结构等。面向对象编程：支持类和对象的定义，并具备继承、多态等特性。与Java兼容：可以与Java代码互操作，方便使用现有的Java库。表达能力强：代码简洁，能够用更少的代码实现更多功能。Apache Spark是一个开源的分布式计算框架，用于处理大规模数据集。内存计算：通过将数据存储在内存中，显著提升计算速度。RDD（弹性分布式数据集）：提供了一个可以并行处理的数据结构。支持多种编程语言：包括Java、Python、Scala和R。丰富的库支持。
Hadoop3.1.1版本下安装Hive2.3.4，spark
qq_35679464的博客
12-09 3657
在安装Hive前必须确保Hadoop已经安装成功，同样在安装Hive时要注意Hive的版本号和Hadoop的版本号是否兼容。 一、安装包的准备 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不...
hdp2.4集成spark2.X
liuxiangke0210的专栏
06-11 1554
Hdp2.4集成spark2集成步骤1. 从官网下载http://spark.apache.org/downloads.html  下载spark2.3 包 2. 把spark2.3包上传到需要安装的机器上。cd  /usr/hdp/2.4.0.0-169 tar -zxvf spark-2.3.0-bin-hadoop2.7.tgzmv spark-2.3.0-bin-hadoop2.7  sp...
Ambari HDP 下 SPARK2 与 Phoenix 整合
跟着大数据和AI去旅行
02-20 1351
1、环境说明 操作系统 CentOS Linux release 7.4.1708 (Core) Ambari 2.6.x HDP 2.6.3.0 Spark 2.x Phoenix 4.10.0-HBase-1.2 2、条件 HBase 安装完成 Phoenix 已经启用，Ambari界面如下所示： Spark 2安装完成 3、Spark2 与 ...
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
搭建单机伪分布式Hadoop+spark+scala
weixin_74331328的博客
04-26 1004
hdfs://master#注意这里是ip映射可改为自己的ip地址。/usr/local/src/hadoop/tmp
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
01-26
根据提供的标题、描述、标签及部分内容链接，我们可以推断出这是一个关于大数据技术栈的培训课程，涉及的技术包括Hadoop、HBase、Zookeeper、Spark、Kafka、Scala以及Ambari。下面将针对这些技术进行详细的介绍和...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
spark-2.4.0-bin-hadoop2.7.rar
05-28
spark-2.4.0-bin-hadoop2.7 ,下载超级慢，放在这里分享给大家.. 加压rar就可以
HDP大数据平台搭建，部署Mahout，spark等
weixin_37792714的博客
09-07 1847
河北科技大学-许云峰大数据团队-肖轶超出品 图片从word中直接粘贴过来有些问题，凑合着看吧，图片太多了，不想一个一个上传。等我有时间了在弄个图片的事情吧。这算个 第一版吧。我的文档可以做做到从无到有复制粘贴即可完成平台的搭建。我很有信心，因为我这么做过。是从一个新系统开始做的那种。我是在实体服务器上搭建的，虚拟机的没有时间探索了。开源的东西感觉资料都很少。我做了之后希望你们少踩坑吧 H...
HDP Spark2 HIVE3.1 的问题
weixin_30399871的博客
04-23 1127
HDP上安装了Hive3.1和Spark2,提交Spark作业时，报找不到Hive中表的问题 但是查一了下hive表，明明是存在这个表的。查看日志，注意到如下的一段日志。 没修改值之前，我在 Spark-shell里创建了一张hive表，发现其创建的位置是 spark.sql.warehouse.dir指向的目录，不在 hive.metasto...
关于scala和spark版本冲突报错
hao难懂的博客
03-04 1253
获取版本对应 1.从spark官网可以获取 官网链接：https://spark.apache.org Spark runs on Java 8, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.4.5 uses Scala 2.12. You will need to use a compatible Scala version ...
hadoop3.1.3+hive3.1.2+spark2.4.5组成hive on spark
qq_35585375的博客
09-17 2509
hadoop 配置就不记录了，百度都有 hive就是用开源的3.1.2版本，官方默认是支持spark2.4.5的 这里的spark用的是自己编译的版本，依赖于hadoop3.1.2，并排除了hive依赖 spark-default 如下 spark.master yarnspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop01:8020/spark-historyspark.executor.memory 1gspark.driver
Spark-3.2.4 高可用集群安装部署详细图文教程
Stars.Sky 的博客
09-15 5259
Spark-3.2.4 高可用集群安装部署详细图文教程
1 Hadoop 3.2.4分布式环境搭建
fmi110的博客
07-31 1961
hadoop 3.2.4分布式部署
Linux系统上搭建hadoop和spark
weixin_38725737的博客
11-08 980
这里不讲具体安装，会给出相应的链接： 1.安装JDK，我这边安装的是jdk1.8.0_191，这个直接去网站上下载安装就好，注意环境变量的配置。 另外，本人遇到的坑是：想要用root权限去安装，然后其他用户能访问，然而发现并不能在别的用户shell下面java -version有输出，显示需要安装Java，很显然我们的环境变量配置是有问题的，所以这个时候目标就是为什么root用户权限下面安装的jd...
Linux下CentOS7部署Spark2.4.0分布式集群教程
本文档详细记录了在Linux环境下搭建Spark开发环境，特别是在完全分布式集群下的步骤。作者分享了自己学习过程中的心得，并鼓励读者提出意见和问题以便及时修正。文章主要分为三个部分：JDK环境的安装与配置、Scala的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值