大数据学习之Hadoop——02Hadoop集群安装

最新推荐文章于 2023-06-02 14:36:47 发布
最新推荐文章于 2023-06-02 14:36:47 发布
阅读量343 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingque6535/article/details/106109830
版权

一. Hadoop伪分布式安装：

1. 自身免秘钥(前提):

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


在这里插入图片描述

2. 安装hadoop：

  1. 解压hadoop安装包

    tar xf hadoop-2.6.5.tar.gz

    在这里插入图片描述

  2. 移动到指定目录
    在这里插入图片描述

  3. 配置环境变量

    vi /etc/profile

    在这里插入图片描述

  4. 配置"JAVA_HOME"的路径

    修改hadoop-env.sh、mapred-env.sh、/yarn-env.sh三个文件中 ”JAVA_HOME” 的路径

    [root@node01 hadoop]# vi /opt/hjf/hadoop/etc/hadoop/hadoop-env.sh
[root@node01 hadoop]# vi /opt/hjf/hadoop/etc/hadoop/mapred-env.sh 
[root@node01 hadoop]# vi /opt/hjf/hadoop/etc/hadoop/yarn-env.sh

    export JAVA_HOME=/usr/java/jdk1.7.0_67

    在这里插入图片描述

  5. 配置主节点信息：
    编辑“core-site.xml”文件,并配置主节点名称

    vi /opt/hjf/hadoop/etc/hadoop/core-site.xml

    在这里插入图片描述

  6. 配置从节点信息：

    • 编辑“hdfs-site.xml”文件

      vi /opt/hjf/hadoop/etc/hadoop/hdfs-site.xml

    • 配置副本数量【伪分布式只需要一个副本即可】
      在这里插入图片描述

    • 配置从节点名称。即哪些主机做datenode。
      在这里插入图片描述
      在这里插入图片描述

  7. 再次修改“hdfs-site.xml”文件：

    https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

    在这里插入图片描述
    配置代码

    <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node01:9868</value>
    </property>
</configuration>

    在这里插入图片描述

  8. 再次修改“core-site.xml”文件：

    https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

    在这里插入图片描述

    Hadoop.tmp.dir默认指向的路径是一个临时目录，但是“hdfs-site.xml”文件中多次调用的这个路径，如果不修改的话数据存在丢失的风险。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    配置代码

    <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/pseudo</value>
    </property>
</configuration>

    在这里插入图片描述

  9. 格式化：

    hdfs namenode -format

    格式化后一定要看是否出现了“successful”字样，如果没有出现，则之前的配置上有问题，后续的操作上也会出现问题。
    在这里插入图片描述

3. 启动hadoop集群：

start-dfs.sh

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

4. HDFS一般操作

  1. 查询hdfs命令：

    hdfs dfs

    在这里插入图片描述

  2. 递归创建目录
    hdfs dfs -mkdir -p /user/root
    在这里插入图片描述

  3. 文件上传：

    hdfs dfs -put ~/tengine-2.1.0  /user/root/tengine

    在这里插入图片描述
    本机存储位置：
    在这里插入图片描述

5. 关闭hadoop集群：

stop-dfs.sh

在这里插入图片描述

二. 全分布式：

1. 免秘钥(前提)

  1. 生成秘钥

    $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    在这里插入图片描述

  2. 执行后目录中包含以下文件
    在这里插入图片描述

  3. 秘钥分发
    此时node01可以免秘钥访问node02、node03、node04

    scp id_dsa.pub node01:`pwd`/node01.pub
scp id_dsa.pub node02:`pwd`/node01.pub
scp id_dsa.pub node03:`pwd`/node01.pub

    在这里插入图片描述

2. 安装hadoop：

  1. 解压hadoop安装包
    在这里插入图片描述

  2. 移动hadoop
    在这里插入图片描述

  3. 环境变量配置：

    vi /etc/profile

    在这里插入图片描述

  4. 配置JAVA_HPME路径

    修改hadoop-env.sh、mapred-env.sh、yarn-env.sh三个文件中 ”JAVA_HOME” 的路径

    1. 修改文件的具体路径
      [root@node01 hadoop]# vi /opt/hjf/hadoop/etc/hadoop/hadoop-env.sh
[root@node01 hadoop]# vi /opt/hjf/hadoop/etc/hadoop/mapred-env.sh 
[root@node01 hadoop]# vi /opt/hjf/hadoop/etc/hadoop/yarn-env.sh
    2. 配置java环境变量
      export JAVA_HOME=/usr/java/jdk1.7.0_67

  5. 配置主节点信息：

    1. 编辑“core-site.xml”文件, 配置主节点名称和临时文件存放路径

      vi /opt/hjf/hadoop/etc/hadoop/core-site.xml

      在这里插入图片描述

    2. 编辑mapred-env.sh 和 yarn-env.sh文件, 指定java jdk的安装路径

      export JAVA_HOME=/usr/java/jdk1.7.0_67

      mapred-env.sh文件
      yarn-env.sh文件

  6. hdfs-site.xml文件中设置副本数量以及secondary节点

    在这里插入图片描述

  7. 设置从节点：

    vi /opt/hjf/hadoop/etc/hadoop/slaves

    在这里插入图片描述

  8. 分发配置文件：

    scp -r /opt/hjf/ node02:`pwd`
scp -r /opt/hjf/ node03:`pwd`
scp -r /opt/hjf/ node04:`pwd`

    在这里插入图片描述

  9. 为所有虚拟机配置环境变量：

    export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/opt/hjf/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    在这里插入图片描述

  10. 环境变量配置后需要重新加载：

    . /etc/profile

  11. 格式化主节点：

    hdfs namenode -format

    注意: 从节点不需要格式化

三. zookeeper：

1. zookeeper安装:

  1. 将zoo_simple.cfg重命名为zoo.cfg

  2. 配置zoo.cfg文件
    在这里插入图片描述

    • 设置路径：

      dataDir=/var/zk

    • 指定zookeeper集群包含有哪些主机，以及为主机设置编号

      server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888

      其中：2888是主从结点间的通讯端口；3888是主节点选举时的通讯端口。

      在这里插入图片描述

  3. zookeeper分发：

    scp -r  zookeeper/ node03:`pwd`
scp -r  zookeeper/ node04:`pwd`

  4. 创建myid文件用于指定zookeeper主机编号：
    mkdir -p /var/zk
    echo 1 > /var/zk/myid 【node02中执行】
    echo 2 > /var/zk/myid 【node03中执行】
    echo 3 > /var/zk/myid 【node04中执行】
    在这里插入图片描述

  5. 配置环境变量：

    export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/opt/hjf/hadoop
export ZOOKEEPER_HOME=/opt/hjf/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

    在这里插入图片描述

2. 启动zookeeper：

  1. 在node02、node03、node04三台主机上启动zookeeper

    zkServer.sh start

  2. zookeeper集群启动成功的前提是集群中超过1半以上的主机启动

  3. 查询zookeeper主机的状态

    zkServer.sh status

    在这里插入图片描述
    在这里插入图片描述

    默认情况只有一个leader，同时启动集群中所有主机时，leader选取的依据是启动的zookeeper主机中编号最大的为leader，其他为follower。当leader已经选取好了之后如果出现编号更大的主机也不会更改，只有再下一次切换时才会重新分配。

  4. 启动zookeeper客户端：

    zkCli.sh

    在这里插入图片描述
    在这里插入图片描述

3. 关闭Zookeeper

  1. 关闭namenode

    关闭状态为active的namenode节点时，通过浏览器不能访问。并且状态为standby的namenode节点会自动切换成active

    hadoop-daemon.sh stop namenode

  2. 关闭zkfc：

    关闭状态为active的namenode节点的zkfc时，通过浏览器能访问，NameNode的状态变为standby。并且状态为standby的namenode节点会自动切换成active

    hadoop-daemon.sh stop zkfc

    在这里插入图片描述

4. Zookeeper客户端的一般操作

  1. help：帮助

    在这里插入图片描述

  2. create：创建节点

    在这里插入图片描述

  3. delete：删除节点
    在这里插入图片描述

  4. get：获取节点信息

    • cZxid： 是节点的创建时间所对应的Zxid格式时间戳。
    • mZxid：是节点的修改时间所对应的Zxid格式时间戳。
    • pZxid：节点的子目录修改时间所对应的Pxid格式时间戳。

  5. set：修改节点信息

    在这里插入图片描述

四. Hadoop高可用安装：

https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

1. 两个NN结点间要相互免秘钥。

见前面的详细内容

2. 配置在hdfs-site.xml中的内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>node01:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>node02:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>noed01:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>node02:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_dsa</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/var/hadoop/ha/journalnode</value>
    </property>
</configuration>

在这里插入图片描述在这里插入图片描述

3. 配置core-site.xml文件：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/ha</value>
    </property>

    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node02:2181,node03:2181,node04:2181</value>
    </property>
</configuration>

在这里插入图片描述

4. 配置文件分发：

scp core-site.xml hdfs-site.xml node02:`pwd`
scp core-site.xml hdfs-site.xml node03:`pwd`
scp core-site.xml hdfs-site.xml node04:`pwd`

在这里插入图片描述

5. 启动journalnode

  1. 在node01、node02、node03三台主机上启动journalnode

    hadoop-daemon.sh start journalnode

    在这里插入图片描述

  2. 格式化NameNode主机的一个节点【任选一个即可】

    hdfs namenode -format

    在这里插入图片描述

  3. 启动刚才格式化的那台NameNode主机：

    hadoop-daemon.sh start namenode

    在这里插入图片描述

  4. 将格式化后的内容同步给另一个节点。

    hdfs namenode -bootstrapStandby

    在这里插入图片描述

五. Hadoop集群的启动和关闭

1. Hadoop集群启动：

  1. 启动zookeeper集群

    分别启动zookeeper所有节点

    zkServer.sh start

  2. 启动HDFS集群

    start-dfs.sh

在这里插入图片描述
在这里插入图片描述

  1. 启动yarn集群

    start-yarn.sh

    注意: HDFS集群和Yarn集群可以用 start-all.sh 命令一起启动

  2. 启动ResourceManager节点

    每个ResourceManager节点都需要单独启动

    yarn-daemon.sh start resourcemanager

  3. WebUI
    在这里插入图片描述
    在这里插入图片描述

  4. 集群节点信息
    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

2. Hadoop集群关闭：

  1. 关闭 HDFS集群和yarn集群

    stop-dfs.sh
stop-yarn.sh

    注意:

    1. HDFS集群和Yarn集群可以用 stop-all.sh 命令一起关闭
    2. 在一个NameNode节点关闭即可

  2. 关闭resourcemanager节点

    每个ResourceManager节点都需要单独关闭

    yarn-daemon.sh stop resourcemanager

  3. 关闭zookeeper集群

    需要在每个节点单独关闭

    zkServer.sh stop
Jiang锋时刻
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 936
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署
alicely07的博客
02-04 3696
Hive：Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署
hadoop-3.2.4.tar.gz
07-31
hadoop-3.2.4.tar.gz
linux wget下载文件出现 Cannot write to ‘文件名’ (Success).的问题
sehnsucht
09-21 3323
在云服务器上挂了一个博客跑了一个破解zip密码的服务,然后,然后就博客出问题,上传不了文件,然后重新启动博客也不行(springboot博客起动失败),所以把想删了再重新下载一次,然后就发现Cannot write to ‘文件名’ (Success).的情况 我搜了网上的情况,发现都没有用,我的情况是,重启云服务器就好了 ...
Ubuntu18.04 安装Cmake 附截图和错误解决方案
Guangli_R的博客
06-23 1386
Ubuntu系统安装Cmake gui卸载旧版下载最新版源码包解压源码进入解压目录安装执行bootstrap编译构建安装最后，来看看安装版本成功！！！ 因项目需要，安装Cmake最新版 交叉编译。记录下过程。 卸载旧版 sudo apt-get autoremove cmake 下载最新版源码包 自https://cmake.org/download/下载cmake源码，如cmake-3.20.5.tar.gz 或者采用wget命令下载： wget https://github.com/Kitware/C
分布式安装配置Hadoop3.2.4
runepic的博客
06-02 969
本文介绍如何在Ubuntu系统中安装配置Hadoop。Hadoop是一个开源的分布式计算框架，它可以处理大规模的数据集。Hadoop的核心组件是Hadoop分布式文件系统（HDFS）和MapReduce编程模型。Hadoop还包括一些其他的子项目，如Hive，Pig，Spark等，提供了不同层次的数据处理能力。
2-大数据技术之Hadoop（入门）
12-15
Cloudera Hadoop（CDH）在2008年由Cloudera公司推出，是最早的Hadoop商业化解决方案之一，其特点是包含了更多的大数据框架，并提供了Cloudera Manager，便于集群管理和监控。Cloudera还吸引了Hadoop的创始人Doug ...
大数据技术：Hadoop 框架详细介绍
最新发布
06-22
**大数据技术：Hadoop 框架详细介绍** 在当今信息化社会，海量的数据正在不断涌现，传统的数据处理方式已经无法满足需求。此时，大数据技术应运而生，其中Hadoop框架作为开源的分布式计算平台，成为了大数据处理的...
大数据技术之Hadoop(MapReduce&Yarn).docx
03-03
【大数据技术之Hadoop(MapReduce&Yarn)】 Hadoop是一个开源的分布式计算框架，主要由两个关键组件组成：MapReduce和YARN。MapReduce是Hadoop的核心计算模型，用于处理大规模数据集；YARN则是资源管理系统，负责调度...
大数据技术_Hadoop
03-26
【大数据技术_Hadoop】是关于大数据处理领域中的核心框架——Hadoop的学习资料集合。这个压缩包包含了一系列文档，旨在帮助初学者理解并掌握Hadoop的基本概念、安装配置以及实际操作。下面将对这些知识点进行详细...
大数据起源之Hadoop.zip
10-23
在这个名为“大数据起源之Hadoop.zip”的压缩包中，我们重点关注的是大数据技术的基石——Hadoop。 大数据的定义通常涵盖三个关键特征，即Volume（大量）、Velocity（高速）和Variety（多样）。这些数据来自各种...
hadoop集群安装指南-hadoop3.2.4版本
champion2009的专栏
09-19 1904
hadoop集群安装指南-hadoop3.2.4版本
hadoop3.2.4伪分布式环境搭建
qq_34526237的博客
04-03 497
大数据hadoop学习，看官网，hadoop搭建有三种方式，单机伪分布式集群部署这里是伪分布式部署，即必须程序都在一台机器上完成部署。作为学习使用是最简单的方式。hadoop主要的程序有1.hdfs，分布式文件系统，启动后会有两个java程序，一个是datanode，一个是namenode。2，yarn yarn是对集群任务的分发控制，主要程序有nodemanage，resourcemanage两个程序。mapreduce只是计算的程序，不是这个框架本身启动的服务。
Hadoop3.2.4集群部署（centos7.9)
w975121565的博客
10-20 1233
Hadoop3.2.4集群部署（centos7.9)
hadoop slaves文件_Hadoop 集群的安装配置
weixin_39732825的博客
11-23 4081
写在前面如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 ：3 天入门大数据技术/Linux/Hadoop/Spark​ke.qq.com 在本地搭建集群环境，在这个视频课程中你需要学习的章节是：VMWare WorkStation 安装创建虚拟机安装 Centos 7 操作系统Centos 7 网络配置方式说明Centos 7 网络配置使用客户端登录操作虚拟机克...
hadoop的安装与配置（完全分布式）
kingloneye的博客
02-22 456
一、安装虚拟机（这里使用的是CentOS7） 在VMware虚拟机中安装CentOS7系统 二、配置 CentOS7 配置163 yum源（详细步骤） 配置 CentOS7 配置163 yum源 三、查看防火墙 sudo systemctl status firewalld 关闭防火墙 sudo systemctl disable firewalld 重启 reboot 打开防火墙 su...
1 Hadoop 3.2.4分布式环境搭建
fmi110的博客
07-31 1934
hadoop 3.2.4分布式部署
解决wget操作Cannot write to的问题
qq_33875256的博客
11-02 8158
加个sudo就行了

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值