大数据-hadoop环境安装（集群）

已于 2022-11-10 16:21:20 修改
阅读量1.1k 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： hadoop 大数据 分布式
于 2022-11-10 16:18:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42109071/article/details/127785333
版权

本伪分布式是在vmware上建立的

1、安装概述

安装流程：

节点结构：

 2、准备环境

操作系统：centos7

master：192.168.73.31

slave1:192.168.73.32

slave2:192.168.73.33

JDK版本：java-1.8.0-openjdk-devel.x86_64

hadoop版本：hadoop-3.3.1.tar.gz

3、配置机器名称和IP

修改主机名称和IP地址信息，分别将3台虚拟机主机名称修改为master、slave1、slave2

 IP地址信息如下：

分别将master机器对应的IP修改为：192.168.73.31

将slave1机器对应的IP修改为：192.168.73.32

将slave2机器对应的IP修改为：192.168.73.33

所有配置修改好，需要将虚拟机重启，才有效果，执行reboot命令

 操作命令如下：

 hostname  #查看机器名称
 vim /etc/hostname  #修改机器名称的配置文件
 vim /etc/sysconfig/network-scripts/ifcfg-ens33  #修改机器IP地址信息

#IP地址信息如下：
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=2beef6cf-0c31-4730-86fe-674429167de8
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.73.31
GATEWAY=192.168.73.2
NETMASK=255.255.255.0
DNS1=192.168.73.2

修改3台机器上的/etc/hosts配置文件，添加如下信息

192.168.73.31 master
192.168.73.32 slave1
192.168.73.33 slave2

 配置好之后，3台机器相互ping，如果互通，则配置正常 ping + 机器名称 

 4、设置免密登录

1.在master上生成公钥

首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）

cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以、
cat ./id_rsa.pub >> ./authorized_keys  #让 Master 节点需能无密码 SSH 本机

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到s1子节点：
模板：scp ~/.ssh/id_rsa.pub 用户名@子节点名字:/home/hadoop/

 在子节点上，去创建hadoop目录，然后再主节点上执行传输公钥的命令

#子节点上执行
cd /home
mkdir hadoop
#在主节点上执行
scp ~/.ssh/id_rsa.pub root@slave1:/home/hadoop/
scp ~/.ssh/id_rsa.pub root@slave2:/home/hadoop/

2 在子节点上操作

分别在子节点执行下面的命令，将 ssh 公匙加入授权：

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat /home/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完就可以删掉了

5、检验主节点是否可以免密登录子节点

在主节点上执行：ssh 子节点名字
exit //登出
ssh s1
不输入密码登录就代表成功。

 6、安装和配置JDK环境变量

安装jdk，配置jdk环境变量

which java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java


#安装jdk
yum install java-1.8.0-openjdk-devel.x86_64
#配置Java环境变量
vim /etc/profile

#在profile文件里添加如下内容
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64/jre
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

#使其生效
source /etc/profile

7、安装Hadoop

在master上切换到/usr/local目录，下载并解压hadoop 3.3.1.tar.gz(是已经编译好的）
wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz

主节点与节点都要安装和修改配置，操作和配置文件的内容都是一致的

1.配置hadoop-env.sh
去到刚才解压的文件夹里，进入到/etc/hadoop下，编辑hadoop-env.sh文件最下面，写入并保存：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64/jre

2.编辑core-site.xml文件
注意：三台机器上的core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml的配置内容要完全一致，地址全部都是master，不因分机而改变host名
在<configuration>节点内加入配置

<configuration>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.配置hdfs-site.xml
在<configuration>内加入配置

  <property>
       <name>dfs.name.dir</name>
       <value>/root/hadoop/dfs/name</value>
       <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
   </property>
   <property>
       <name>dfs.data.dir</name>
       <value>/root/hadoop/dfs/data</value>
       <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
   </property>
   <property>
       <name>dfs.replication</name>
       <value>2</value>
   </property>
   <property>
       <name>dfs.permissions</name>
       <value>true</value>
       <description>need not permissions</description>
   </property>
   <property>
        <name>dfs.namenode.http-address</name>
        <value>master:9870</value>
   </property>

4.配置mapred-site.xml
在<configuration>节点内加入配置

   <property>
      <name>mapred.job.tracker</name>
      <value>master:49001</value>
   </property>
   <property>
      <name>mapred.local.dir</name>
      <value>/root/hadoop/var</value>
   </property>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>

5.配置yarn-site.xml
在<configuration>节点内加入配置

   <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
   <property>
   <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
   </property>

6.修改workers
在master节点的workers文件内把localhost删除（与这些配置文件在同一个目录下），加入

slave1
slave2

保存
在slave1节点的workers文件内把localhost删除，加入

master
slave2

保存
在slave2节点的workers文件内把localhost删除，加入

master
slave1

7.在/root下新增如下目录

mkdir  /root/hadoop
mkdir  /root/hadoop/tmp
mkdir  /root/hadoop/var
mkdir  /root/hadoop/dfs
mkdir  /root/hadoop/dfs/name
mkdir  /root/hadoop/dfs/data

八、初始化

也即格式化，在master节点进入到/usr/local/hadoop-3.3.1/bin目录然后执行

./hadoop namenode -format

九、启动hadoop

切换到目录/usr/local/hadoop-3.2.1/sbin
在start-dfs.sh 、stop-dfs.sh两个文件开头位置添加如下配置

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh 、stop-yarn.sh两个文件开头位置添加如下配置

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=root
YARN_NODEMANAGER_USER=root

或者在/etc/profile文件下添加

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在/usr/local/hadoop-3.2.1/sbin下，执行

./start-all.sh

使用浏览器访问192.168.73.31:9870(主节点服务器)，可以进入到overview界面

 访问resourcemanager http://192.168.73.31:8088/cluster

 注意：如果不能访问，请检查防火墙是否关闭或者端口是否开发

尼古拉斯大树
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据环境安装部署说明文档
03-25
部署项目所需的Hadoop集群环境。包括分布式文件系统HDFS,分布式应用程序协调服务器Zookeeper,分布式发布订阅消息系统Kafka,关系型数据库MYSQL,基于Hadoop和MYSQL的数据仓库引擎Hive,Hadoop与结构化数据存储之间的数据转换工具Sqoop和计算引擎Spark。
大数据实践-hadoop集群安装与配置.doc
04-17
"大数据实践-Hadoop集群安装与配置" 本文档旨在指导用户实践Hadoop集群的安装和配置，涵盖了从环境搭建到Hadoop集群的安装和配置的所有步骤。通过实践本项目，用户可以初步掌握Hadoop集成环境的搭建和配置。 一、...
大数据处理架构Hadoop 安装
weixin_45873466的博客
06-08 268
大数据处理架构Hadoop 注：本操作是在Finalshell软件下，操作系统为win10，通过Finalshell连接虚拟机(Linux)进行的 一：创建一个Hadoop用户： su #切换到root用户 useradd -m hadoop -G root -s /bin/bash passwd hadoop #设置一个密码设为“hadoop”可随意设置 visudo #给hadoop添加权限（找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然
大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）
李天泉
09-13 3451
大数据环境安装和配置（Hadoop2.7.7，Hive2.3.4，Zookeeper3.4.10，Kafka2.1.0，Flume1.8.0，Hbase2.1.1，Spark2.4.0等） 系统说明 搭建步骤详述 一、节点基础配置 二、Hadoop安装和配置 三、Hive安装和配置 四、ZooKeeper安装和配置 五、Kafka安装和配置 六、Flume安装和配置 七、Hbase安装和配置 八、Spark安装和配置 总结 前言：本篇文章是以Hadoop为基础，.
大数据Hadoop环境安装
qq_32729301的博客
11-28 1331
工作场景的需要，最近开始学习起了大数据相关的东西。对于我这个初学者，大数据入门就是首先得学会Hadoop环境的安装，按照步骤如遇相关问题，请指正。Hadoop环境的安装，我是用自己电脑借助VMware workstation构建了三个虚拟机节点，进行安装的。
大数据环境安装部署步骤
weixin_34205826的博客
06-11 300
系统环境搭建： #2.复制出来的虚拟机配置ip方法#1.删除mac地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0#HWADDR="00:0C:29:64:6A:F9"#2.删除网卡和mac地址绑定的文件 rm -rf /etc/udev/rules.d/70-persistent-net.rules#3.重启系统 r...
大数据-hadoop-mapreduce代码
11-28
在大数据处理领域，Hadoop MapReduce 是一个至关重要的组件，它为海量数据的...通过研究这些代码，你可以学习到如何处理Hadoop集群上的大规模数据，如何编写高效的Mapper和Reducer，以及如何设置和调优MapReduce作业。
#一文读懂大数据-Hadoop-大数据技术和相关应用.docx
11-11
MapReduce则是Hadoop的计算模型，它将大型数据集分割为小块，然后在集群中的不同节点上并行处理，显著提高了数据处理速度。 NoSQL数据库，如Cassandra和Accumulo，是大数据时代另一种重要的技术。它们是非关系型...
初学者搭建大数据环境
02-28
我也是初学，把大数据环境搭建步骤做个记录，方便以后查阅，也方便大家一起学习
大数据运行环境全套安装流程。 （hadoop，hive，zookeeper，Hbase）
wznb12138的博客
07-10 1104
1.文件准备 安装基本运行环境，需要用到： hadoop-2.6.0-cdh5.14.2.tar.gz jdk-8u221-linux-x64.tar.gz zookeeper-3.4.6.tar.gz hbase-1.2.0-cdh5.14.2.tar.gz hive-1.1.0-cdh5.14.2.tar.gz MySQL-client-5.6.46-1.el7.x86_64.rpm MySQL-server-5.6.46-1.el7.x86_64.rpm 把以上文件都拖到配置好的虚拟机，在根目录中建一
云计算于大数据入门 —— 环境安装
ppqppl的博客
03-02 278
云计算于大数据入门 —— 环境安装 本教程采用厦门大学数据库实验室的林子雨老师的同等开发环境： 所需软件及环境 所有文件整合的安装包我会放在文末 本案例所涉及的系统及软件 Linux系统(Ubuntu16.04或14.04或18.04)，这里使用 Ubuntu 20.04.5 LTS 系统进行安装 MySQL(版本无要求)，这里使用清华大学镜像源中的默认版本 Hadoop(2....
大数据 环境搭建
chen_2_2的博客
07-02 326
1配置需求 虚拟机：VMware Workstation 操作系统：CentOS-6.5-x86_64-bin-DVD1.iso 2环境搭建 （1）虚拟机安装 点击创建新的虚拟机 自定义，下一步 默认的wordstation10.0，下一步 选择稍后安装操作系统，下一步 客户操作系统选择：Linux（L），版本：centOS 64位，下一步 虚拟机名称：Hadoop002，存储位置选...
大数据框架-Hadoop安装（一主一从）
klnsGenesis的博客
04-14 704
Hadoop安装（一主一从） 操作环境介绍： 操作系统环境：centos7.6 腾讯云服务器主机（两台都是） 操作平台：宝塔界面 Hadoop版本：3.2.3 JDK版本：1.8.0_291 关闭宝塔防火墙，腾讯云控制台修改安全组，配置自己需要的ip，否则可能会有注入病毒的风险 教程正式开始 主机名配置 查看主从服务器各自的主机名 hostname 建议将主服务器修改为master 从服务器主机名修改为slave （多服务器的话后面可以加上数字区分） sudo hostnamectl set-hostn
Hadoop大数据平台安装
weixin_41705703的博客
05-09 5664
实验一：Hadoop大数据平台安装 16281002 杜永坤 1、实验目的 在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将熟悉并搭建几种常用的大数据采集、处理分析技术环境。 《大数据技术》实验一需要在笔记本上搭建 Hadoop 集群，实验报告根据教程对笔记本上创建虚拟机搭建 Hadoop 集群的步骤进行了说明。包含所有需要安装的软件与服务的版本，安装路径，安装方法等。主要流程...
大数据平台环境搭建
最新发布
m0_46635662的博客
03-10 5171
大数据平台环境搭建（最详细最全面最无脑）
大数据环境搭建
fcclzydouble的博客
02-26 1177
大数据环境准备 一、准备 准备一台内存最少8G（建议16G）、cpu i7 4核的电脑 二、主题 安装虚拟化软件VMware 准备3台linux虚拟机 搭建3节点zookeeper集群 搭建3节点的hadoop集群 三、目标 完成大数据环境准备 四、知识要点 文档说明： 在学习大数据课全程中，要求大家统一保持跟说明一样的操作系统、软件版本、环境设置 VMware版本： VMware建议使用比较新的版本，如VMware 15.5
大数据-基础环境搭建
海恋北斗星
02-10 965
大数据-基础环境搭建（一） 服务器设置 本文使用三台Linux服务器做统一环境。 三台机器的IP设置 修改三台服务的ip地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO="static" IPADDR=192.168.52.100 ...
VSFTP安装配置指南 - Hadoop集群实战
"Hadoop集群搭建教程，包含VSFTP的安装配置" 在深入探讨Hadoop集群之前，首先要理解Hadoop的基础概念。Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储大规模数据。它基于Google的GFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值