基于阿里云服务器搭建完全分布式Hadoop集群+Hive仓库+Spark集群

最新推荐文章于 2024-05-12 15:16:15 发布
最新推荐文章于 2024-05-12 15:16:15 发布
阅读量2.1k 收藏 44
点赞数 9
分类专栏： 大数据 文章标签： hadoop spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TYUT__pengkai/article/details/112464548
版权

写在前面的话

最近在完成学校的课设，需要组成小组进行一个大数据系统架构的实训项目。我便和小组成员商量着一同搭建一个真正的分布式集群，权当做练习。写下此文记录安装的过程以及踩坑和解决的方法，愿共同学习，共同进步！

欢迎扫码关注我的公众号，与我一同学习进步！主要致力于学习

  1. 使用深度学习解决计算机视觉相关问题
  2. Python为主的互联网应用服务
  3. 基于MIPS指令集的CPU微体系结构设计
    在这里插入图片描述

准备工作

集群采用一主二从的方式，进行设计。即集群由三台服务器组成，其中，一台服务器为主节点，剩余两台服务器为

从节点。三台服务器采用相同的配置，均为阿里云云翼计划学生专享云服务器。

配置项与用到的版本如下表所示

配置项版本
服务器阿里云轻量应用服务器 1核2G
服务器系统Ubuntu16.04 LTS
JavaOracle openjdk-8
Hadoop2.10.0
YarnHadoop自带
MySQL5.7.0
Hive2.3.7
Scala2.11.12
Spark2.0.0

由于实训采用分组的方式完成，我们小组三人便没人在阿里云上注册并用学生优惠购买了一个云服务器，之后使用Xshell和Termius进行远程连接，操控服务器。因此，本文省略了这些步骤。

建立通信

  1. 修改自己的主机名

    这一步需要分别在三个服务器上进行，使用命令vim /etc/hostname打开hostname文件进行编辑。

    将文件修改为自己想要的名字，对于我们来说，则直接将主机名修改为我们自己的名字，如下图所示。被马赛克遮住的部分是我们名字的部分内容，你可以根据自己的需要进行设置。

    需要注意的是，修改完成并保存退出后，一定要重启服务器使它生效。

  2. 修改hosts文件

    这一步同样需要在三个服务器上都进行。

    使用命令vim /etc/hosts打开hosts文件进行编辑。对于每台服务器来说，将本机的公网IP和主机名添加到文件中，将剩余台服务器的公网IP以及对应的主机名添加到文件中。其中，Master服务器应该在文件的第一行。最终结果如下图所示。

    注：公网IP和内网IP在云服务器初始化为一个实例时，就会自动生成，可以在阿里云控制台中查看。

  3. 生成公私钥

    这一步需要在三台服务器上分别进行。

    使用命令ssh-keygen生成公私钥，随后，会出现一系列交互式操作。一路"回车键"即可，生成的公私钥默认保存在/root/.ssh/id_rsa目录下。

  4. 分发公钥，保留私钥

    ssh协议使用非对称加密的方式进行通信，公钥加密，私钥解密。

    因此，对于每台服务器来说，需要将自己的公钥分发给其他服务器。

    使用命令ssh-copy-id hostname完成密钥的分发工作，这里的hostname为其他服务器的主机名。需要值得注意的是，如果你的集群数量为n，那么你至少需要执行n-1次该命令，以保证所有主机都建立了通信。而是否要将hostname设置为本机并执行一次，对于结果并没有影响。如下图所示。

  5. 测试通信

    当前四步工作均完成后，如果过程中没有出现任何错误，那么，目前的几台服务器之间就是可通信的。

    使用命令ssh hostname即可登录到其他主机，这里的hostname为其他服务器的主机名。出现如下图所示即表示通信建立完成。

安装Java

为了尽可能的减少安装的问题和可能出现的错误，强烈建议选用相同的Java版本并在不同服务上将它们安装在同一目录下。

  1. 安装Java

    为了保证与大部分的Hadoop生态系统组件相适配，选择使用较低的JDK8版本。

    基于Ftp协议将下载好的jdk1.8.0_131移动到/usr/lib/目录下，借助Xftp或专业版的Termius都可以实现。

    使用命令mv jdk1.8.0_131/ jdk1.8.0/修改文件夹的名称。

  2. 配置Java环境

    为了尽可能的减少root用户与RAM用于之间相互转换带来的环境问题，所有的环境变量均进行全局配置。

    使用命令vim /etc/profile打开配置文件，将下面的配置项添加到文件的末尾。

    # Java enviroment
export JAVA_HOME=/usr/lib/jdk1.8.0
export JRE_HOME=${JAVA_HOME}/jre
export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=.:$JAVA_HOME/bin:$PATH

    需要特别注意的是，这里的JAVA_HOME需要根据自己的安装位置进行设置。

    添加完成后，保存并退出Vim编辑器，使用命令source /etc/profile更新配置文件。

  3. 查看Java版本

    使用命令java -version查看Java的版本，如果你是按照本文的操作一步一步进行的，应该得到如下图所示的结果。

这里可能出现的一个问题是，对于其他云服务器厂商，可能系统中已经预装了Java的某一个版本。但是，这对于进行以上的配置是没有影响的。即如果采用以上的配置，系统仍会使用你安装的Java 8版本。

安装并配置Hadoop

采用较新的Hadoop2.10.0版本，选用该版本的主要原因有两个

  • 较低的版本没有资源管理器Yarn，难以满足需求
  • 较高的版本存在不稳定性，且难以与Hive、Spark等兼容

具体安装与配置步骤如下所示

安装Hadoop

  1. 下载Hadoop2.10.0

    为了尽可能的减少后续过程中的错误，三台服务器均将Hadoop安装在/usr/local/目录下，且文件夹名字均为hadoop-2.10.0

    使用命令wget https://pengkai.online/hadoop-2.10.0.tar.gz下载Hadoop

  2. 解压Hadoop

    使用命令tar -zxvf hadoop-2.10.0.tar.gz将Hadoop解压到文件夹中，解压完成后，使用命令rm -r hadoop-2.10.0.tar.gz将下载的安装包卸载。

  3. 配置Hadoop环境变量

    使用命令vim /etc/profile打开配置文件，将下面的配置项添加到文件的末尾。

    # Hadoop enviroment
export HADOOP_HOME=/usr/local/hadoop-2.10.0
export PATH=$HADOOP_HOME/bin:$PATH

    与配置Java环境变量一样，保存并退出后，要使用命令source /etc/profile激活配置文件

  4. 查看Hadoop版本

    使用命令hadoop version查看Hadoop版本，出现如下图所示的结果即表示安装成功。

配置Hadoop

Hadoop安装完成后，需要分别针对不同的服务器对Hadoop中的各个文件分别进行配置。

主服务器

使用命令cd /usr/local/hadoop-2.10.0/etc/hadoop切换到配置文件目标路径下。

  1. 配置hadoop-env.sh文件

    使用命令vim hadoop-env.sh打开配置文件

    修改文件中的如下所示的一行

    export JAVA_HOME = {}

    将改行中的内容变为自己的Java路径，针对于我们的服务器，配置如下

    export JAVA_HOME=/usr/lib/jdk1.8.0

  2. 配置hdfs-site.xml文件

    使用命令vim hdfs-site.xml打开配置文件

    将下面的内容粘贴到configuration标签之间

    	<!-- 分布式副本数设置为3 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 这是名称节点的元数据存放目录，需要自己创建 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop-2.10.0/tmp/dfs/name</value>
    </property>

  3. 配置core-site.xml文件

    使用命令vim core-site.xml打开配置文件

    将下面的内容粘贴到configuration标签之间

    <!-- 这里的hostname需要替换成自己的主服务器的主机名 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hostname:9000</value>
 </property>
<!-- 这是临时文件的存放路径，如果不设置该项，会导致初始化失败 -->
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.10.0/tmp</value>
 </property>

  4. 配置mapred-site.xml.template文件

    使用命令vim mapred-site.xml.template 打开配置文件

    将下面的内容粘贴到configuration标签之间

    	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

  5. 配置slaves文件

    使用命令vim slaves打开配置文件

    将其余两个从服务器的主机名添加到其中，针对于我们的集群，如下所示。
    在这里插入图片描述

  6. 配置yarn-site.xml文件

    使用命令vim yarn-site.xml 打开配置文件

    将下面的内容粘贴到configuration标签之间

    <!-- 这是集群管理节点的名称，设置为自己的主服务器主机名 -->
	<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hostname</value>
    </property>
从服务器

两台从服务器可以采用相同的配置。因此，可以同时配置，也可以等待一台配置完成后，直接向另一台转发配置文件。

  1. 配置hadoop-env.sh文件

    使用命令vim hadoop-env.sh打开配置文件

    修改文件中的如下所示的一行

    export JAVA_HOME = {}

    将改行中的内容变为自己的Java路径，针对于我们的服务器，配置如下

    export JAVA_HOME=/usr/lib/jdk1.8.0

  2. 配置hdfs-site.xml文件

    使用命令vim hdfs-site.xml打开配置

    将下面的内容粘贴到configuration标签之间

    		<!-- 这是复制的副本数量 -->
		<property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
		<!-- 这是数据节点保存数据的目录，需要自己创建 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///usr/local/hadoop-2.10.0/etc/hadoop/tmp/dfs/data</value>
        </property>

  3. 配置core-site.xml文件

    使用命令vim core-site.xml打开配置文件

    将下面的内容粘贴到configuration标签之间

    <!-- 这一项与主节点相同 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hostname:9000</value>
 </property>
<!-- 这是临时文件的存放路径，如果不设置该项，会导致初始化失败 -->
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.10.0/etc/hadoop/tmp</value>
 </property>

  4. 配置mapred-site.xml.template文件

    使用命令vim mapred-site.xml.template 打开配置文件

    将下面的内容粘贴到configuration标签之间

    		<!-- 这一项与主节点相同 -->
		<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
		<!-- 这一项是将该节点加入到主节点的工作中，hostname替换为自己的主服务器的主机名 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hostname:10020</value>
        </property>

  5. 配置yarn-site.xml文件

    使用命令vim yarn-site.xml 打开配置文件

    将下面的内容粘贴到configuration标签之间

    		<!-- 这一项与主节点相同 -->
		<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hostname</value>
        </property>
		<!-- 这一项表示该节点参与MapReduce工作 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
打开防火墙

配置完成后，需要登录到阿里云的云服务器平台上，打开相应的端口，以确保服务正常可用。三台服务器均需设置。

需要打开的端口为10020，该端口为Hadoop进行Map Reduce工作需要进行通信的端口。具体操作过程如下所示。

  1. 进入创建的服务器实例

  2. 添加防火墙规则

    按照如下图所示的过程进行添加
    在这里插入图片描述

初始化Hadoop

三台服务器均需进行初始化，切换到Hadoop目录下的bin目录，使用命令hadoop namenode -format初始化Hadoop，得到的结果如下图所示。

启动Hadoop

  1. 切换到Hadoop的目录下的sbin目录，使用命令./start-all.sh启动所有组件

  2. 使用jps命令查看已启动的进程。

    • 主服务器

      出现如下图中的红框所示的进程即表示启动成功

    • 从服务器

      出现如下图中的红框所示的进程即表示启动成功
      在这里插入图片描述

写在后面的话

到这里，Hadoop的完全分布式集群已经搭建完成，且处于工作、可用的状态。

由于不至于使文章过于冗长以及个人需求不同，本文只给出了搭建Hadoop集群的方式，如果有其他需要，可以根据下文连接自行选择阅读。

基于阿里云服务器搭建完全分布式Hadoop集群+Hive仓库+Spark集群(二)

基于阿里云服务器搭建完全分布式Hadoop集群+Hive仓库+Spark集群(三)

如果你在安装的过程中遇到任何问题，都可以在评论区与我交流哦！

_Memories_
关注
  • 9
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
基于centos7搭建haoop与hive
congge_study的博客
01-12 7316
centos7搭建hadoop
基于阿里云服务器搭建完全分布式Hadoop集群+Hive仓库+Spark集群(二)
TYUT__pengkai的博客
01-13 778
使用阿里云服务器搭建完全分布式Hadoop集群、Spark集群、Hive仓库
【服务器】（五）阿里云ECS上搭建Hadoop集群环境——设置(分布式)Mysql、Hive、Sqoop与Hue安装
系'辞的博客
03-30 606
说明： 在本分布式中，slave1、slave2主要作为数据存储。而，hive是用于检索的工具，故仅在Master服务器端安装hive与mysql。 安装mysql cd /home/test/install/ #ubantu系统对应指令 sudo apt-get install mysql-server-5.7 #安装MySQL的客户端和服务端 sudo apt install libmysqlclient-dev #安装MySQL需要的依赖 ps -e | grep mysql #查看
最全在Linux操作系统的ECS实例上安装Hive_怎么连接阿里云的hive(2)，2024年最新程序员必须要了解的知识点
最新发布
m0_60666452的博客
05-12 318
16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义？7、Tomcat和Resin有什么区别，工作中你怎么选择?3、现在给你三百台服务器，你怎么对他们进行管理?15、讲述一下LVS三种模式的工作过程?
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦
m0_60732994的博客
02-17 3980
最近有小伙伴私信我，flink 软件安装在虚拟机上很简单，就是安装包解压即可，有没有 hadoop + spark 的安装文档呢？所以今天周六刚好不用上班，花了一天时间整理了一下自己现在使用集群的搭建过程，希望对各位小伙伴有帮助！Tips：以下是集群搭建过程的记录啦，word 文档和搭建好了的集群，我后续会上传资源区啦，有需要的小伙伴后续可以在我的资源区下载哦！希望和大家一起进步，有啥不清楚滴地方可以一起交流！
PyCharm，Hive数据的导入与可视化
qq_73592322的博客
04-25 297
2）在export文件下创建data用于存放数据。、统计每小时消息量、发送和接收用户数。4）在PyCharm中进行数据的导入。、统计发送人的设备操作系统分布情况。、统计发送人的手机型号分布情况。、统计发送人的网络类型分布情况。、统计今日发送和接收用户数。1）启动集群（具体根自身）、统计发送消息各地区数据量。3）将数据复制到data。、统计今日发送消息最多的。
【服务器】（四）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Spark与Scala
系'辞的博客
04-09 263
安装Scala2.11.12版： cd /home/test/Downloads tar -zxvf /home/test/Downloads/scala-2.11.12.tgz -C /home/test/install/ cd /home/test/install vim /etc/profile #文件内容如下： export SCALA_HOME=/home/test/install/scala-2.11.12 export PATH=$PATH:$SCALA_HOME/bin
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
4. **Hive**：Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。它适合做离线分析，不适用于实时查询。 - **Hive安装**： - 依赖于Hadoop，所以Hadoop必须先...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
Hive是基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。通过Hive，用户无需编写Java MapReduce程序，就能对大数据进行分析。在搭建Hive时，需要设置Hive metastore、...
centOS 6.10 hadoop+spark+hive+HBase集群搭建
07-31
hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群
还在为搭建集群的期末作业发愁吗？最简单的搭建hadoop+spark+hive大数据集群搭建文档.docx
02-18
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦，给出一个完全分布式hadoop+spark集群搭建完整文档，从环境准备（包括机器名，ip映射步骤，ssh免密，Java等）开始，包括zookeeper,hadoop,hive,spark，...
Hadoop集群+MySQL+hive+zookeeper+spark
11-16
集群搭建步骤详解。
记录阿里云服务器搭建伪分布Hadoop以及hive远程连接
jiam6的博客
03-28 975
小机器搭建Hadoop伪分布式
Linux服务器搭建单机版Hive与搭建Hive集群
积跬步，至千里。
05-14 2017
详细记录使用Linux服务器搭建单机版Hive与搭建Hive集群整个过程，避免踩坑.........
华为云云耀云服务器L实例评测｜在Docker环境下部署Hive数据库
Maynor的博客
09-20 1552
​ 这是Maynor华为云云耀云服务器L实例评测｜单节点环境下部署ClickHouse21.1.9.41数据库华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2.10.1华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop​云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。云耀云服务器L实例。
Spark-2.4.3安装(基于Hadoop2.8.5完全分布式集群)
江冷易水寒
07-13 2359
一.安装Hadoop2.8.5完全分布式集群 安装过程 二.Spark2.4.3安装 2.1 Java1.8环境搭建(Hadoop2.8.5安装已安装) 2.2 Scala-2.13.0环境搭建 1) 创建/usr/hadoop/scala目录 2)下载scala安装包 下载地址 将页面拉到最下面，下载如图安装包 3) 解压安装包：tar -zxvf scala-2.13......
阿里云服务器centos7.2下基于hadoop2.7安装Hive 2.3.0【成功版】
feng_zhiyu的博客
07-16 804
前言 之前参照一个易百教程安装过，里面装的另外一个数据库（derby），不是很懂，配置没弄好，一堆报错，放弃了。【有兴趣的可以看看，大佬无视~】阿里云服务器centos7.2下基于hadoop2.7安装Hive 2.3.0【部分待解决】 网上的“博客教程”很多，走了一些弯路，这里记录下自己的安装成功过程。希望有所帮助。 假设现在你已经安装好了hadoop，没安装的可以参考阿里云服务器cent...
阿里云ECS服务器部署HADOOP集群（四）：Hive本地模式的安装
gman344的博客
12-07 242
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 本地模式需要采用MySQL数据库存储数据。 1 环境介绍 一台阿里云ECS服务器：master 操作系统：CentOS7.3 Hadoop：hadoop-2.7.3.tar.gz Java:jdk-8u77-linux-x64.tar.gz Hive：apache-hive-2.3.6-bin.tar.gz Mysql: Mysql 5.7 MySQL Connector-J：mysql...
阿里云上部署java8和hadoop3.0、spark、hive及Mahout
karwik的博客
06-13 3207
1.安装JDK1.8 到oracle官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html linux是64位的，安装jdk-8u131-linux-x64.tar.gz  安装及配置参考http://blog.csdn.net/rchm8519/article/de
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值