大数据笔记（四）：Hadoop 2.7.7+Scala+Spark 完全分布式集群搭建

最新推荐文章于 2022-12-19 00:33:58 发布
最新推荐文章于 2022-12-19 00:33:58 发布
阅读量1.8k 收藏 5
点赞数
分类专栏： 大数据学习 文章标签： 完全分布式集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36169781/article/details/89355441
版权

本文记录了使用3台物理机部署Hadoop完全分布式集群的过程，所使用系统为Ubuntu16.04 LTS，Hadoop版本为Hadoop 2.7.7。

搭建前的准备

注意：
※ 下载密码：kevin
※ 教程中所有shell命令，如果没有特殊说明，全部都需要单步执行，不能批量粘贴。

免密登录

  1. 新装系统分别设置如下参数
No.姓名计算机名用户名
1(主节点)mastermasterhadoop
2(子节点)slave1slave1hadoop
3(子节点)slava2slave2hadoop

在这里插入图片描述

这里的情况是全新安装的系统，如果有已经安装的系统，可以为3台电脑分别创建hadoop用户并授予su权限加入hadoopGropu即可。

  1. 为3台物理机设置静态IP，方法参考百度。
  2. 检查hostname，以master机器为例，如果hostname不是master，需要修改为master，三台都需要检查。
    $ sudo gedit /etc/hostname
  3. 设置Hosts（三台同步操作）
    ifconfig #查看IP
    输入以下命令编辑hosts文件
    $ sudo gedit /etc/hosts
    在hosts中添加master、slave1、slave2的映射，每条记录一行
    192.168.0.1 master
192.168.0.2 slave1
192.168.0.3 slave2
    设置完后保存，在三台主机上互相ping，检测是否ping通：
    $ ping slave1 -c 4
$ ping slave2 -c 4
$ ping master -c 4
  4. 安装SSH并生成密钥对（三台同步）
    $ sudo apt-get install openssh-server #安装SSH
$ ps -e | grep ssh #查看SSH进程是否启动
$ ssh localhost #尝试登陆本机
    尝试登录本机后，如果出现Welcome to Ubuntu 16.04 LTS ....Last login: xxxxxx即为成功。
    $ ssh-keygen -t rsa #生成密钥对，输入后直接按三次回车，不需要输入密码。
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #密钥追加到认证公钥
$ cd ~/.ssh #切换到ssh目录
$ sudo chmod 600 authorized_keys #更改权限为600
  5. 分别在两个子节点上获取主节点master的密钥
    $ cd ~/.ssh
$ scp hadoop@master:~/.ssh/id_rsa.pub ./master_rsa.pub
$ cat master_rsa.pub >> authorized_keys #将master的密钥增加到子节点的认证公钥
    完成后回到master上，测试登陆是否免密：
    $ ssh slave1 #测试登陆节点1
$ ssh slave2 #测试登陆节点2

安装JDK/Hadoop/Spark/Scala

master上，将博客开头的JDK和Hadoop包下载，并使用终端进入所在目录，逐条执行以下命令：

$ cd Downloads #进入下载目录
$ sudo mkdir /usr/lib/jvm   #创建jvm目录
$ sudo tar -zxvf jdk-8u201-linux-x64.tar.gz  -C /usr/lib/jvm #/ 解压java到/usr/lib/jvm目录下
$ sudo tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local  #解压hadoop到/usr/local目录下
$ sudo tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /usr/local #解压spark到/usr/local目录下
$ sudo tar -zxvf scala-2.12.0.tgz -C /usr/local  #解压scala到/usr/local目录下
$ cd /usr/lib/jvm
$ sudo mv jdk1.8.0_201 java #重命名
$ cd /usr/local
$ sudo mv hadoop-2.7.7 hadoop  #重命名
$ sudo mv spark-2.3.3-bin-hadoop2.7 spark
$ sudo mv scala-2.12.0 scala
$ sudo chown -R hadoop ./hadoop  #修改权限

暂时先不配置环境变量。

修改Spark配置文件

  1. spark-env.sh
    $ cd spark/conf
$ cp spark-env.sh.template spark-env.sh
$ sudo gedit spark-env.sh

修改内容：

export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/usr/lib/jvm/java
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
  1. slaves
    $ cp slaves.template slaves
$ sudo gedit slaves

修改内容：

slave1
slave2

修改Hadoop配置文件

$ cd /usr/local/hadoop/etc/hadoop #进入Hadoop配置文件目录

本节涉及slaves hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 6个文件的修改。

  1. slaves
    $ sudo gedit slaves
    删除localhost，增加：
    slave1
slave2
  2. hadoop-env.sh
    $ sudo gedit hadoop-env.sh
    修改JAVA_HOME:
    export JAVA_HOME=/usr/lib/jvm/java
  3. core-site.xml
    $ sudo gedit core-site.xml
    修改configuration节:
    <configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>
  4. hdfs-site.xml
    $ sudo gedit hdfs-site.xml

    <configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <!-- 集群冗余副本数量 -->
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>
  5. mapred-site.xml
    $ cp mapred-site.xml.template mapred-site.xml #复制模板，生成xml
$ sudo gedit mapred-site.xml #	打开
    修改配置节：
    <configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:19888</value>
  </property>
</configuration>
  6. yarn-site.xml
    $ sudo gedit yarn-site.xml
    修改配置节：
    <configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>master:8088</value>
     </property>
</configuration>
  7. 配置完成后，使用master将整个hadoop、Java、Spark和Scala发送到两个子节点：
    $ scp -r /usr/local/hadoop hadoop@slave1:/usr/local
$ scp -r /usr/local/hadoop hadoop@slave2:/usr/local
$ scp -r /usr/local/spark hadoop@slave1:/usr/local
$ scp -r /usr/local/spark hadoop@slave2:/usr/local
$ scp -r /usr/local/scala hadoop@slave1:/usr/local
$ scp -r /usr/local/scala hadoop@slave2:/usr/local
$ scp -r /usr/lib/jvm hadoop@slave1:/usr/lib
$ scp -r /usr/lib/jvm hadoop@slave2:/usr/lib
  8. 在集群所有机器上分别配置hadoop、Java、Spark和Scala的环境变量，所有机器。
    $ cd ~
$ sudo gedit ~/.bashrc

将下列内容追加到文件尾部：

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#Spark
export SPARK_HOME=/usr/local/spark
export PATH="$SPARK_HOME/bin:$PATH"

#Scala
export SCALA_HOME=/usr/local/scala

刷新环境变量

$ source ~/.bashrc
  1. 在所有机器上检查hadoop、Java、Spark和Scala环境，查看是否安装成功。
    $ java -version    #查看Java版本
$ hadoop version   #查看hadoop版本
$ scala            #查看Scala环境
$ spark-shell      #查看Spark环境

启动集群（master上操作）

  1. 在master上格式化NameNode。（只在master上执行，且只执行一次）
    $ hadoop namenode -format
  2. 启动：
    $ cd /usr/local/hadoop/sbin #Hadoop的执行目录
$ start-all.sh #启动
    如果启动成功，此时master终端输入jps可以看到NameNode和SecondaryNameNode等进程，slave有DataNode等进程。
Kevin@1997
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop和spark集群搭建详解
12-04
hadoop与spark集群搭建，了解hadoop分布式、伪分布式等方式集群搭建
大数据之Hadoop完全分布式集群搭建
啊熊的博客
06-28 194
03.大数据之Hadoop集群搭建（完全分布式）
小茗同学IT的博客
05-23 588
Hadoop集群搭建（完全分布式）一．准备Linux阶段1.安装VMware WorkStation软件   百度找资源，获得激活序列号，否则只能使用30天。 2.在虚拟机上安装Linux操作系统  我这里安装的是CentOS 6.5，按步骤设置成功。 问题：打开是我遇到了Intel-VT-x处于关闭状态，这是我们需要进入电脑Bios主界面configuration&gt;&gt;intelvir...
[大数据]-hadoop2.8和spark2.1完全分布式搭建
weixin_30847271的博客
04-24 140
一、前期准备工作： 1.安装包的准备： VMware(10.0版本以上) : 官方网站：https://www.vmware.com/cn.html 官方下载地址：http://www.vmware.com/products/player/playerpro-evaluation.html 10.0版本注册码： v1Z0G9-67285-FZG78-ZL3Q2-234J...
基于Hadoop集群的Spark集群搭建
小七月的博客
06-05 1080
基于Hadoop集群的Spark集群搭建 注：Spark需要依赖scala，因此需要先安装scala 一、 简单叙述一下scala的安装 （1）下载scala软件安装包，上传到集群 （2）建立一个用于存放scala的目录，将上传的安装包移动到新建的目录下，并解压 移动文件：# mv scala-2.12.8.tgz ~/scala 解压文件：# tar -xzf scala-2.12.8.t...
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
毕业设计：基于hadoop+spark完全分布式平台的薪资水平预测系统.zip
最新发布
07-12
本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目的难度比较适中，内容都是经过助教老师审定过的，应该能够满足学习、使用需求，如果有需要的话可以放心下载使用。...
大数据+Hadoop3.X伪分布式集群搭建笔记+练习搭建Hadoop平台
08-08
练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
02-25
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了...
spark集群构建：第二步：构造分布式 Hadoop 集群；
10-29
对于 90%以上想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，家林把 Spark 集群的构建分为了四个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的 Spark 集群。
Spark集群构建:第一步：搭建 Hadoop,单机和伪分布式环境；
10-29
对于 90%以上想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，家林把 Spark 集群的构建分为了四个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的 Spark 集群。
win10 下spark2.2.0+hadoop2.7.7+winutis 1
03-26
win10下 python+spark开发环境配置教程https://blog.csdn.net/qq_33283652/article/details/88790390
hadoop spark 大数据集群环境搭建（一）
albert_lz的专栏
11-21 2569
大数据云计算现在比较热门，未来的一个发展方向，在此分享下技术,有不对的地方欢迎指出 1、软件环境(会分享到网盘)         centos6.5 jdk1.7 hadoop2.4.1(这里只用到hdfs,namenode不走ha) zookeeper3.4.5 spark1.3.0(直接从官网下载已经编译好的32bit) scala 2.10.4 2、软件安装 2.1 JDK
hadoop2.7.7+spark2.4.3+idea2020.1.4——搭建完全分布式集群+实现wordcount(MR和Spark本地及打jar包）-2022-12-18
feifeileill的博客
12-19 1159
hadoop2.7.7+spark2.4.3+idea2020.1.4搭建完全分布式集群，实现MR和Spark（基于scala）的简单使用，即以wordcount为例。可以作为初学MR分析和Spark分析的入门练习。
大数据笔记（二）：Hadoop1.x下的第二名称节点(SecondaryNameNode)
Kevin的博客
04-11 2785
在NameNode（NN）运行期间，HDFS因为文件的频繁更新会使得EditLog的体积不断增大，进而使NameNode在重启过程中逐条执行EditLog来更新FsImage的过程变得缓慢，使得NameNode长期处于只读状态，影响用户使用。 　　HDFS提供了第二名称节点(SecondaryNameNode，SNN)来解决这个问题： 　　SNN每隔一段时间会向NN发出停止使用EditLog的请...
大数据笔记（三）：IDEA下使用Maven工程与HDFS进行简单交互
Kevin的博客
04-13 986
最近在看浙大林子雨老师的mooc，3.6讲使用Eclipse开发环境与HDFS进行交互，我比较喜欢IDEA的风格，这篇blog记录了在使用IDEA时踩过的坑。 配置Maven环境 Maven是什么？ Maven是基于项目对象模型(POM project object model)，可以通过一小段描述信息（配置）来管理项目的构建，报告和文档的软件项目管理工具。（我的理解：通过pom.xml自动...
大数据笔记（一）：Ubuntu 16.04 LTS 下搭建Hadoop伪分布式环境
Kevin的博客
03-08 819
Hadoop是Apache的一个开源框架，用于分布式存储以及在商用硬件上运行的计算机集群上的大数据的分布式处理。 Hadoop将数据存储在Hadoop分布式文件系统（HDFS）中，并使用MapReduce完成这些数据的处理。 YARN提供用于在Hadoop集群中请求和分配资源的API。 Apache Hadoop框架由以下模块组成： Hadoop Common Hadoop Distribute...
hadoop+hive+spark+zookeeper+hbase大数据环境搭建
06-28
### 回答1： 搭建大数据环境需要以下步骤： 1. 安装Hadoop：Hadoop是一个分布式计算框架，用于处理大规模数据集。安装Hadoop需要下载Hadoop软件包，并进行配置。 2. 安装Hive：Hive是一个数据仓库工具，用于在Hadoop上进行数据分析和查询。安装Hive需要下载Hive软件包，并进行配置。 3. 安装Spark：Spark是一个快速的大数据处理框架，用于在Hadoop上进行数据处理和分析。安装Spark需要下载Spark软件包，并进行配置。 4. 安装Zookeeper：Zookeeper是一个分布式协调服务，用于管理Hadoop集群中的节点。安装Zookeeper需要下载Zookeeper软件包，并进行配置。 5. 安装HBase：HBase是一个分布式的NoSQL数据库，用于存储和管理大规模数据。安装HBase需要下载HBase软件包，并进行配置。 以上是搭建大数据环境的基本步骤，需要根据实际情况进行具体的配置和调整。 ### 回答2： 随着互联网技术的不断发展，越来越多的数据被产生和需要处理，因此，搭建大数据环境成为了一项非常重要的工作。目前，Hadoop、Hive、Spark、Zookeeper、Hbase等大数据技术成为了最为重要的技术。下面，我们来详细介绍这些技术的大数据环境搭建。 1. Hadoop的安装 Hadoop是一个开源的分布式文件系统和数据处理框架，可以处理大规模数据的存储和处理。Hadoop的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Hadoop的二进制包； 3）解压Hadoop的二进制包，并配置环境变量； 4）修改Hadoop的相关配置文件； 5）启动Hadoop。 2. Hive的安装 Hive是一个基于Hadoop的数据仓库工具，提供了类似于SQL的查询语言，可以用于大规模数据仓库的创建和查询。Hive的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Hive的二进制包； 3）解压Hive的二进制包，并配置环境变量； 4）修改Hive的相关配置文件； 5）启动Hive。 3. Spark的安装 Spark是一个快速而通用的大数据处理引擎，可以执行大规模数据处理任务，并支持分布式计算。Spark的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Spark的二进制包； 3）解压Spark的二进制包，并配置环境变量； 4）修改Spark的相关配置文件； 5）启动Spark。 4. Zookeeper的安装 Zookeeper是一个高性能分布式应用程序协调服务，可以用于协调和同步大规模集群中的应用程序。Zookeeper的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Zookeeper的二进制包； 3）解压Zookeeper的二进制包，并配置环境变量； 4）修改Zookeeper的相关配置文件； 5）启动Zookeeper。 5. Hbase的安装 Hbase是一个基于Hadoop的分布式非关系型数据库，提供了类似于Google的Bigtable的基于列的存储方式。Hbase的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Hbase的二进制包； 3）解压Hbase的二进制包，并配置环境变量； 4）修改Hbase的相关配置文件； 5）启动Hbase。 在完成上述大数据技术的安装后，我们还需在使用时将它们进行整合，以达到更加高效的数据处理和管理。这些技术之间的整合一般都需要配置相关的XML文件和环境变量，具体操作可根据实际情况去修改和设置。小编建议，初学者应该多参考一些大佬的经验，互联网上有很多大牛分享了上述技术的搭建方法，读者可以多花些时间去学习和了解。 ### 回答3： 随着现代信息技术的不断发展，大数据的应用越来越广泛。作为目前大数据环境的主流组件，Hadoop、Hive、Spark、Zookeeper和HBase都是大数据领域的重要工具。为了能够更好地进行大数据分析和处理，需要对这些工具进行合理的搭建和配置。 1. Hadoop的搭建 Hadoop是一个分布式存储和计算的框架，搭建Hadoop需要安装JAVA环境，并下载相应的Hadoop压缩包。将Hadoop解压到本地目录，在安装文件中设置JAVA_HOME和HADOOP_HOME环境变量。启动Hadoop需要先启动NameNode和DataNode，然后启动JobTracker和TaskTracker。搭建好Hadoop后，还需要使用HDFS命令行或Hadoop API进行文件的上传、下载、删除等基本操作。 2. Hive的搭建 Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据映射到Hadoop的存储系统中。Hive搭建需要先安装JAVA环境和Hadoop，然后下载并解压Hive压缩包。将Hive和Hadoop的配置文件进行关联，启动Hive服务时需要启动Metastore和HiveServer2服务。搭建完成后，可以使用HiveQL语句进行数据的查询、插入、删除等操作。 3. Spark的搭建 Spark是一个快速通用的大数据计算引擎，可用于数据分析、机器学习等场景。Spark搭建需要安装JAVA和Scala等相关组件，并下载Spark压缩包。将Spark解压到本地目录后，设置SPARK_HOME环境变量以及Hadoop和YARN的配置相关参数。启动Spark服务时需要先启动Master和Slave节点。搭建完成后，可以使用Spark Shell和Spark SQL进行数据处理和分析。 4. Zookeeper的搭建 Zookeeper是一个分布式的协调服务，可以用于管理各类分布式应用程序的配置和信息。将Zookeeper下载并解压到本地目录，设置ZOOKEEPER_HOME环境变量，并修改Zoo.cfg配置文件中的端口号、数据目录等相关参数。启动Zookeeper服务时需要先启动一个Leader和多个Follower。搭建完成后，可以使用ZooKeeper API对Zookeeper的节点进行管理和配置。 5. HBase的搭建 HBase是一个列存储数据库，可以在Hadoop上提供实时读写服务。HBase搭建需要安装JAVA环境、Hadoop和Zookeeper，并下载HBase压缩包。将HBase解压到本地目录，并进行相关配置，比如修改HBase-site.xml配置文件的参数、设置HBASE_HOME环境变量等。启动HBase服务前需要先启动Zookeeper服务。搭建完成后，可以使用Java API或HBase Shell进行数据的读写操作。 综上所述，搭建大数据环境需要先安装基础的JAVA环境和相关组件，然后根据各个工具的安装包进行相应的配置和启动，最后进行测试和调试。在搭建过程中需要注意版本、路径等问题，避免出现配置错误。经过搭建和调试后，可以使用这些工具进行海量数据的分析和处理，为企业的决策提供有力的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值