大数据技术 - 安装篇

已于 2022-07-22 14:37:40 修改
阅读量381 收藏
点赞数
分类专栏： 大数据 文章标签： linux hadoop hdfs
于 2022-07-22 10:24:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/edimy/article/details/125925064
版权

一、系统准备

安装三台虚拟机，并安装操作系统，计划安装完服务后运行的进程如下表

系统名称IP用户发行版本
master192.168.1.151rootCentOS Linux release 7.9.2009
tony192.168.1.152rootCentOS Linux release 7.9.2009
tim192.168.1.153rootCentOS Linux release 7.9.2009
服务进程mastertonytim
zookeeperQuorumPeerMainYYY
hdfsJournalNodeYYY
NameNodeYYN
DataNodeNYY
DFSZKFailoverControllerYYY
yarnResource ManagerYYN
Node ManagerNYY

1. 系统配置

# 配置hosts文件
vi /etc/hosts

192.168.1.151 master
192.168.1.152 tony
192.168.1.153 tim

----------------------------------------------------------

# 配置防火墙
firewall-cmd --zone=public --add-port=9820/tcp --permanent
firewall-cmd --zone=public --add-port=9870/tcp --permanent
firewall-cmd --zone=public --add-port=8032/tcp --permanent
firewall-cmd --zone=public --add-port=8088/tcp --permanent
firewall-cmd --zone=public --add-port=8034/tcp --permanent
firewall-cmd --zone=public --add-port=8031/tcp --permanent
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=7000/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
firewall-cmd --reload

# 注：8031 for yarn
----------------------------------------------------------

# 安装npt
yum install -y npt

# 安装psmic
yum install -y psmisc

----------------------------------------------------------

# 设置免密登录
ssh-keygen -t rsa
ssh-copy-id id_rsa.pub root@master
ssh-copy-id id_rsa.pub root@tony
ssh-copy-id id_rsa.pub root@tim

# 允许root登录
vi /etc/ssh/sshd_config

PermitRootLogin yes
systemctl restart sshd

------------------------------------------------------------

2. 软件安装

软件安装包安装位置
JDKjdk-11.0.12_linux-x64_bin.tar.gz/opt/jdk-11.0.12
Zookeeperapache-zookeeper-3.6.3-bin.tar.gz/opt/zookeeper3
Hadoophadoop-3.3.3.tar.gz/opt/hadoop-3.3.3

2.1 配置环境变量

# 配置环境变量
vi /etc/profile

export JAVA_HOME=/opt/jdk-11.0.12
export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/lib
export HADOOP_HOME=/opt/hadoop-3.3.3
export ZOOKEEPER_HOME=/opt/zookeeper3
export PATH=$PATH:${JAVA_HOME}/bin:${ZOOKEEPER_HOME}/bin

2.2 安装zookeeper

# 创建数据和日志文件夹
mkdir /opt/zookeeper3/zkdata 
mkdir /opt/zookeeper3/zklog

--------------------------------------------

# master写入id文件
echo 1 > /opt/zookeeper3/zkdata/myid

# tony写入id文件
echo 2 > /opt/zookeeper3/zkdata/myid

# tim写入id文件
echo 3 > /opt/zookeeper3/zkdata/myid

--------------------------------------------

# 修改配置文件
mv /opt/zookeeper3/conf/zoo_sample.conf zoo.conf
vi /opt/zookeeper3/conf/zoo.cfg

dataDir=/opt/zookeeper3/data
dataLogDir=/opt/zookeeper3/log
clientPort=7000
server.1=master:2888:3888
server.2=tony:2888:3888
server.3=tim:2888:3888

启动zookeeper：zkServer.sh start

查看zookeeper状态：zkServer.sh status

两个服务器显示Mode：follower，一个服务器显示Mode: leader

2.2 安装hadoop

# 配置core-site.xml

vi /opt/hadoop-3.3.3/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-3.3.3/data/tmp</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,tony:2181,tim:2181</value>
    </property>
</configuration>

# 配置hdfs-site.xml

vi /opt/hadoop-3.3.3/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
      <name>dfs.nameservices</name>
      <value>mycluster</value>
    </property>

    <property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
    </property>

    <property>
      <name>dfs.ha.namenodes.mycluster</name>
      <value>nn1,nn2</value>
    </property>

    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn1</name>
      <value>master:9820</value>
    </property>

    <property>
      <name>dfs.namenode.http-address.mycluster.nn1</name>
      <value>master:9870</value>
    </property>

	<property>
      <name>dfs.namenode.rpc-address.mycluster.nn2</name>
      <value>tony:9820</value>
    </property>

    <property>
      <name>dfs.namenode.http-address.mycluster.nn2</name>
      <value>tony:9870</value>
    </property>

    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://master:8485;tony:8485;tim:8485/mycluster</value>
    </property>
    
    <property>
      <name>dfs.client.failover.proxy.provider.mycluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>

    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>
    </property>

    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/hadoop-3.3.3/data/hadoop_repo/journalnode</value>
    </property>

    <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
     </property>

	<!--修改core-site.xml中的ipc参数,防止出现连接journalnode服务ConnectException-->
	<property>
	    <name>ipc.client.connect.max.retries</name>
	    <value>100</value>
	</property>
	<property>
	    <name>ipc.client.connect.retry.interval</name>
	    <value>10000</value>
	</property>

</configuration>
# 配置worker
vi /opt/hadoop-3.3.3/etc/hadoop/worker

tony
tim
# 修改master上的start-dfs.sh 和 stop-dfs.sh
vi /opt/hadoop-3.3.3/sbin/start-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

vi /opt/hadoop-3.3.3/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

namenode格式化

        在master, tony和tim上运行：hdfs --daemon start journalnode

        在master上运行： hdfs namenode -format

        在tony和tim上运行：hdfs namenode -bootstrapStandby

        在master上运行：hdfs namenode

        master上退出namenode：ctrl+c

        在master, tony和tim上运行：hdfs --daemon stop journalnode

启动hadoop服务

        ./start-dfs.sh

2.3 安装yarn

# 配置mapred-site.xml
vi /opt/hadoop-3.3.3/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.application.classpath</name>
        <value>
            /opt/hadoop-3.3.3/etc/hadoop,
            /opt/hadoop-3.3.3/share/hadoop/common/*,
            /opt/hadoop-3.3.3/share/hadoop/common/lib/*,
            /opt/hadoop-3.3.3/share/hadoop/hdfs/*,
            /opt/hadoop-3.3.3/share/hadoop/hdfs/lib/*,
            /opt/hadoop-3.3.3/share/hadoop/mapreduce/*,
            /opt/hadoop-3.3.3/share/hadoop/mapreduce/lib/*,
            /opt/hadoop-3.3.3/share/hadoop/yarn/*,
            /opt/hadoop-3.3.3/share/hadoop/yarn/lib/*
        </value>
    </property>
</configuration>
#配置yarn-site.xml
vi /opt/hadoop-3.3.3/etc/hadoop/yarn-site.xml

<configuration>

    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-rm-cluster</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>tony</value>
    </property>

    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <property>
       <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
     </property>

    <property>
        <name>yarn.resourcemanager.zk.state-store.address</name>
        <value>master:2181,tony:2181,tim:2181</value>
    </property>

    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,tony:2181,tim:2181</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>master:8032</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>master:8034</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>master:8088</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>tony:8032</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>tony:8034</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>tony:8088</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

</configuration>

复制两个配置文件到tony和tim上

scp mapred-site.xml yarn-site.xml root@tony:/opt/hadoop-3.3.3/etc/hadoop/

scp mapred-site.xml yarn-site.xml root@tony:/opt/hadoop-3.3.3/etc/hadoop/

在master和tony节点分别启动resourcemanager

        yarn --daemon start resourcemanager

在tony和tim节点分别启动nodemanager

        yarn --daemon start nodemanager

在master上检查ResourceManager状态

        yarn rmadmin -getServiceState rm1    #状态为active

        yarn rmadmin -getServiceState rm2    #状态为standby

访问管理界面：http://master:8088/cluster

JPS查看各个服务器进程

mastertonytim
19009 NameNode
10483 ResourceManager
14292 DFSZKFailoverController
20809 QuorumPeerMain
28651 JournalNode		20320 QuorumPeerMain
32688 NameNode
32054 NodeManager
23784 JournalNode
23673 DataNode
23881 DFSZKFailoverController
26621 ResourceManager		25697 JournalNode
2919 NodeManager
24490 QuorumPeerMain
25596 DataNode

 

3. 错误备注

如果你从一个no-HA更新到HA 
hdfs namenode -initializeSharedEdits

启动nodename报错，查看日志
namenode需要安装：yum install -y psmisc

半杯咖啡的代码
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据常用软件安装指南
weixin_54707168的博客
03-29 403
为方便大家查阅，大数据所有软件的安装方式单独整理如下：
2021年大数据技术-第1阶段-大数据基础篇.pdf
12-31
2021年大数据技术-第1阶段-大数据基础篇.pdf
解析PMT遇到的一些问题
想挣五斗米的博客
08-22 1938
  在解析PMT表时遇到一些疑惑，在这里做个总结。   解析完PAT后得知PMT_PID就可以开始解析PMT了，但是我仔细一看PMT的表的格式，发现我几点疑惑，前面一些参数和PAT一致，但是后面有3个for循环，突然就懵了。 PAT就一个for循环唉，可以通过section_length得知接下来的长度减掉for循环前到section_length的那部分长度再减去CRC_32的长度就...
一篇文章搞定大数据安装（Hadoop、zookeeper、Spark、HBase、Hive）———附带详细步
韩江雪de 小屋
07-06 2374
文章目录2 配置Hadoop2.1 配置免密登录2.1.1 生成密匙2.1.2 免密登录2.1.3 验证免密登录2.2 集群搭建2.2.1 下载并解压2.2.2 配置环境变量2.2.3 修改配置1. hadoop-env.sh2. core-site.xml3. hdfs-site.xml4. yarn-site.xml5. mapred-site.xml6. slaves2.3 初始化2.4 启动集群2.5 查看集群2.6 安装包 2 配置Hadoop 这里搭建一个 3 节点的 Hadoop 集群，其中
大数据软件安装和编程实践指南（在本地电脑安装，适合绝大多数学习者）
clearlove100的博客
07-25 553
学习指南： http://dblab.xmu.edu.cn/post/5663/ 包括以下： 在安装下载过程中，如果出现学习指南没有提到的问题，可参考我的其他博客， 我把我遇到的其他问题都记录了下来，并提出了解决方案，希望能帮到大家~ ...
大数据软件安装配置教程[Linux, JDK, MySQL, Hadoop, ZooKeeper, Hive, Flume, Kafka, HBase-Phoenix, Scala, Spark等等]
hellosrc的博客
03-09 3143
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
数据科学与大数据技术-专业导论.pptx
12-24
数据科学与大数据技术是21世纪信息技术领域的重要分支，它结合了数学、统计学和计算机科学，致力于在海量数据中挖掘价值，为决策提供支持。本篇导论主要围绕专业培养、专业前景以及远期目标三个方面展开。 首先，...
大数据技术基础实验报告-HBase安装配置和应用实践.doc
08-21
这篇实验报告主要涵盖了HBase的安装、配置以及基本应用，这是大数据技术中一个重要的组件，它是一个分布式的、面向列的数据库，尤其适合处理大规模的数据。 1. **HBase安装** - 首先，通过`sudo tar -zxf ~/下载/...
大数据技术基础-安装-hadoop-过程 (2).docx
06-21
在IT行业中，大数据技术是当前的关键领域之一，而Hadoop作为大数据处理的基石，其安装和配置是初学者和专业人士必须掌握的基础技能。本篇主要介绍如何在虚拟环境中搭建Hadoop集群，涉及到虚拟机的选择、操作系统的...
Linux：基础命令学习
qq_55038440的博客
07-20 1205
实例：-F根据文件类型在列出的文件名称后加一符号。实例： -R 递归显示目录中的所有文件和子目录。. 开头的隐藏文件也会列出。可执行文件则加 "*"，用于显示目录文件信息。
Linux：进程信号（一.认识信号、信号的产生及深层理解、Term与Core）
qq_74415153的博客
07-23 1383
1.认识信号 进程看待信号方式 2.信号的产生 2.1信号的处理的方式 --- signal()函数 2.2kil指令产生信号 2.3键盘产生信号 2.4系统调用发送信号 -kil系统调 用、raise()和abort()库函数 2.5软件条件产生信号 2.6异常产生信号 3.信号产生的深层理解 键盘产生信号 异常产生信号 4.Term与Core core文件
【Linux】-----权限详解
m0_73470633的博客
07-21 718
Linux权限详解,看这一篇就够了！！！！！！
【嵌入式开发 Linux 常用命令系列 7.7 -- find 和 sed 配合使用介绍】
CodingCos的博客
07-24 302
命令将文件中所有"demo" 字符串替换为 “hello”
linux+springboot+nginx转rtsp流为hls流
最新发布
k0933的博客
07-25 132
1、基本逻辑为前端请求时获取新的rtsp流地址，调用一次rtsp2Hls转码方法，将生成新的hls切片文件（不用考虑旧文件，将会覆盖），转码时先停止当前转码线程，再创建新的线程。2、线程监控：开启一个定时任务，每10分钟查看一次，若有异常线程，则重新获取rtsp流地址进行转码，在晚上8点后则停止所有转码任务。1、下载(自定义版本：http://www.ffmpeg.org/releases/)#编译安装(默认安装在/usr/local/nginx)进入：/usr/local/nginx/sbin。
linux 查看当前目录下占用空间命令
Damien_J_Scott的博客
07-25 104
du -sh */
linux字符设备驱动+fops应用测试程序
qq_39797956的博客
07-21 226
【代码】linux字符设备驱动+fops应用测试程序。
【linux】Shell脚本三剑客之grep和egrep命令的详细用法攻略
景天科技苑
07-25 781
在Linux和Unix系统中，grep（Global Regular Expression Print）是一个非常强大的文本搜索工具，能够根据用户指定的模式（由正则表达式和文本字符组合而成）对目标文件进行逐行搜索，并显示匹配到的行。而egrep（Extended Grep）则是`grep`的扩展版本，支持更多的正则表达式语法。尽管egrep在较新的系统中被`grep -E`选项所取代，但了解其用法对于理解和使用正则表达式仍然具有重要意义。
【每日刷题Day85】
2301_78022459的博客
07-23 1675
【每日刷题Day85】
大数据技术：挑战与机遇
"大数据理工大291.pptx - 大数据技术领域的关键问题，由西北大学信息科学与技术学院的陈莉教授讲解，主要内容涵盖了大数据的定义、发展历程以及技术挑战。" 大数据，一个在21世纪初逐渐兴起的概念，指的是那些超出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值