大数据-Hadoop集群的安装与配置

已于 2022-09-27 15:00:21 修改
阅读量674 收藏 2
点赞数
分类专栏： linux 文章标签： hadoop centos 大数据
于 2021-03-10 15:29:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43846708/article/details/114632192
版权

Hadoop集群的安装与配置

前言

1、此次过程中所以操作都要在root下完成
2、虽然此次安装使用的是hadoop-2.9.1，但是推荐安装hadoop-2.7.3版本
3、hadoop最好只初始化一次，否则很容易出现各类问题
4、建议在hadoop初始化前，克隆一个master和slave，避免悔之不及
5、如在初始化后，hadoop存在初始化多次问题，建议重装

提示：以下是本篇文章正文内容

1. VmWare 15安装 CentOS7

新建虚拟机
master

ip：192.168.119.135
网关：192.168.119.2
子网掩码：255.255.255.0

2. Linux设置

修改主机名称和网络名称：

[root@master ~]# vim /etc/hosts
在最后添入以下两行

192.168.119.135 master
192.168.119.136 slave

在这里插入图片描述

[root@master ~]# vim /etc/sysconfig/network

NETWOEKING=yes
HOSTNAME=master

在这里插入图片描述

关闭防火墙：

关闭：[root@master ~]# systemctl stop firewalld.service
禁止开机启动：[root@master ~]# systemctl disable firewalld.service
查看状态：[root@master ~]# firewall-cmd --state
在这里插入图片描述

关闭selinux

[root@master ~]# vim /etc/selinux/config

关闭前：
在这里插入图片描述

关闭后：
在这里插入图片描述

3. 安装 JDK

JDK-8u261
提取码：h91o

查看
[root@master ~]# rpm -qa|grep jdk
在这里插入图片描述

卸载系统自带的JDK
yum -y remove java java-1.8.0
在这里插入图片描述

将下载好的jdk通过xshell拖动到指定的文件夹中并将其解压
在这里插入图片描述

在root下创建文件夹java：
[root@master usr]# mkdir java

将jdk解压到/usr/java/：
[root@master java]# tar -zxvf jdk-8u261-linux-x64.tar.gz

将压缩包删除：[root@master ~]# rm -rf jdk-8u221-linux-x64.tar.gz

配置环境
[root@master ~]# vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_261
JRE_HOME=/usr/java/jdk1.8.0_261/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME
export JRE_HOME
export CLASS_PATH
export PATH

在这里插入图片描述

[root@master ~]# source /etc/profile
[root@master ~]# java -version
在这里插入图片描述

4. 配置Hadoop集群

hadoop-2.7.3
提取码：ag76

hadoop-2.9.1
提取码：27eq

解压

将下载好的hadoop通过xshell拖动到master中
在home下创建文件夹hadoop：[root@master home]# mkdir hadoop
将hadoop解压到/home/hadoop/：[root@master hadoop]# tar -zxvf hadoop-2.9.1.tar.gz

配置环境

[root@master ~]# vim /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-2.9.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

[root@master ~]# source /etc/profile
[root@master ~]# hadoop version
在这里插入图片描述

修改配置文件

进入home/hadoop/下的hadoop-2.9.1/etc/hadoop/文件夹中
[root@master hadoop]# cd hadoop-2.9.1/etc/hadoop

[root@master hadoop]# vim slaves
删除localhost 添加从节点的名称:
在这里插入图片描述

以下配置在各个文件的<configuration></configuration>中添加

core-site.xml

[root@master hadoop]# vim core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.9.1/tmp</value>
    </property>

hdfs-site.xml

[root@master hadoop]# vim hdfs-site.xml

    <property>
        <name>dfs.namenode.http.address</name>
        <value>master:50070</value>
    </property>
    <!-- 设置secondarynamenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.secondary.http.address</name>
        <value>slave:50090</value>
    </property>
    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.dir</name>
        <value>/home/hadoop/hadoop-2.9.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop-2.9.1/tmp/dfs/data</value>
    </property>

yarn-site.xml

[root@master hadoop]# vim yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8040</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

mapred-site.xml

[root@Master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@Master hadoop]# vim mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

配置hadoop-env.sh，指定JAVA_HOME
[root@master hadoop]# vim hadoop-env.sh

修改 export JAVA_HOME=/usr/java/jdk1.8.0_261

配置yarn-env.sh，指定JAVA_HOME
[root@master hadoop]# vim yarn-env.sh

修改 export JAVA_HOME=/usr/java/jdk1.8.0_261

配置mapred-env.sh，指定JAVA_HOME
[root@master hadoop]# vim mapred-env.sh

修改 export JAVA_HOME=/usr/java/jdk1.8.0_261

5. 克隆虚拟机slave

将master克隆为slave
克隆前先关闭master。
在这里插入图片描述

配置slave的静态IP：
在这里插入图片描述

重启网络：[master@master ~]$ systemctl restart network.service

[master@master ~]$ ping www.baidu.com
ping 192.168.119.136 检测master、slave是否能相互两两ping通
在这里插入图片描述

修改主机名称
[root@master ~]# vim /etc/hostname
在这里插入图片描述

[root@master ~]# vim /etc/sysconfig/network
在这里插入图片描述

修改后重启slave

6．SSH免密登录

[root@master ~]# ssh-keygen -t rsa
在这里插入图片描述

分别在slave上执行相同的操作
[root@master ~]# cd /root/.ssh
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
[root@master .ssh]# chmod 644 authorized_keys
[root@master .ssh]# scp authorized_keys slave:/root/.ssh/

slave
[root@slave ~]# cd /root/.ssh
[root@slave .ssh]# cat id_rsa.pub >> authorized_keys
[root@slave .ssh]# chmod 644 authorized_keys
[root@slave .ssh]# scp authorized_keys master:/root/.ssh/

验证
登录[root@master .ssh]# ssh slave
在这里插入图片描述

7. 启动Hadoop集群

在master：进入到home/hadoop/hadoop-2.9.1
格式化结点：[root@master hadoop-2.9.1]# bin/hadoop namenode -format

注意：在没有出错的情况下，节点格式化一次即可
启动hadoop集群：[root@master ~]# cd home/hadoop/hadoop-2.9.1/sbin
[root@master sbin]#start-all.sh
[root@master sbin]# jps

在这里插入图片描述

在这里插入图片描述

8、验证安装可以运行hadoop自带的实例。

在浏览器中：192.168.119.135:50070在这里插入图片描述

（1）执行实例程序计算pi

[root@master ~]# cd /home/hadoop/hadoop-2.9.1/share/hadoop/mapreduce
[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.9.1.jar pi 2 2
在这里插入图片描述

（2）wordcount实例（单词计数）

创建文件wordtest ，内容为hello hadoop bye hadoop。
传到hdfs上。
在hdfs上新建/input目录，将wordtest文件传到hdfs上保存。
[root@master mapreduce]# hadoop dfs -mkdir /input
[root@master mapreduce]# hadoop dfs -put wordtest /input
查看文件
[root@master mapreduce]# hadoop dfs -ls /input
在这里插入图片描述

运行wordcount实例。
[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.9.1.jar wordcount /input /output
在这里插入图片描述

百里 Jess
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据安装hadoop
qianchun22的博客
09-03 208
大数据简介 分布式 由分布在不同主机上的进程(程序)协同子啊一起才能构成整个应用。 Browser/web server:瘦客户端程序. 大数据4V特征 1．Volumn : 体量大 2．Velocity : 速度快 3．Variaty : 样式多 4．Value : 价值密度低 Hadoop概念： 可靠的、可伸缩的、分布式计算的开源软件. 是一个框架、允许跨越计算机集群的大数据集处理，使用简单的编程模型（MapReduce）。 可从单个服务器扩展到几千台主机，每个节点提供了计
大数据-Hadoop集群配置
m0_62492032的博客
12-06 466
Hadoop
大数据时代之hadoop(一)：hadoop安装
星空的专栏
10-13 5624
Hadoop的运行模式有以下三种： 独立模式（standalone或local mode）：无需任何守护进程（daemon），所有程序都在单个JVM上执行。主要用在开发阶段。默认属性就是为本模式所设，所以不需要额外的配置。 伪分布式模式（pseudo-distributed model）：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。 全分布模式（full distributed model）：Hadoop守护进程运
大数据应用之Hadoop环境安装与配置完全解析
最新发布
sinat_30844883的博客
07-21 1169
Hadoop是apache公司开源的一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它具有高可靠、高扩展、高效与高容错等特点，是大数据分析与应用的必备技术。
Hadoop集群搭建
weixin_30399155的博客
02-13 83
一.准备Linux环境（虚拟机） 　　1.先将虚拟机的网络模式选为NAT 　　2.修改主机名 　　　　vi /etc/sysconfig/network 　　　　NETWORKING=yes 　　　　 HOSTNAME=hdp-node-01 　　3.修改IP 　　　　vim /etc/sysconfig/network-scripts/ifcfg-eth0 　　　　DEV...
Hadoop集群安装与配置
古月慕南的代码世界
03-23 1347
本文介绍Hadoop在两个节点上的安装与配置即一个master和一个slave，安装版本为2.2.0，该版本及以上版本的安装方式几乎一致。本文安装的方式并非高可靠的，是最简单的安装，适合于初学者作为学习环境。而且如果需要扩展也十分方便，更改slaves文件即可。
大数据之hadoop安装
dengjiaqun的专栏
06-16 233
hadoop的具体概念就不多说了，这里采用简单的集群安装，对于使用zookeeper工具进行高可用的部署后续再说 三台机器 master slave0 slave2 全部采用root权限安装 下载hadoop安装包，这里使用hadoop-2.7.5 http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/hadoop-2.7.5.tar.gz 放到/data目录下 执行tar -zxvfhadoop-2.7.5.tar.gz进行解压.
大数据实践-hadoop集群安装与配置.doc
04-17
"大数据实践-Hadoop集群安装与配置" 本文档旨在指导用户实践Hadoop集群的安装和配置，涵盖了从环境搭建到Hadoop集群的安装和配置的所有步骤。通过实践本项目，用户可以初步掌握Hadoop集成环境的搭建和配置。 一、...
大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移_lk_edit.pptx
01-01
【大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移】是针对大数据领域的一门课程，主要讲解如何使用Sqoop工具进行数据在Hadoop集群与关系型数据库之间的迁移。Sqoop是一款由Apache开发的开源软件，专门用于...
大数据课程-Hadoop集群程序设计与开发-7.Hive数据仓库_lk_edit.pptx
01-01
Hive的安装过程包括配置Hadoop环境、下载Hive的安装包、配置Hive的配置文件如`hive-site.xml`，并将Hive与Hadoop集群正确连接。此外，还需要确保Hive与Hadoop的版本兼容，并设置好HDFS的路径等参数。 **7.4 Hive ...
大数据-hadoop-mapreduce代码
11-28
在大数据处理领域，Hadoop MapReduce 是一个至关重要的组件，它为海量数据的...通过研究这些代码，你可以学习到如何处理Hadoop集群上的大规模数据，如何编写高效的Mapper和Reducer，以及如何设置和调优MapReduce作业。
hadoop集群的安装与配置
gao_的博客
12-13 390
1.安装和配置虚拟机 1.1安装VMwareWorkstation12pro虚拟机 1.2安装vmwaretools工具 2.Hadoop集群配置过程 2.1 集群中的机器，都要有的配置： 安装jdk 7+，并配置好环境变量 Hadoop-2.x.x安装包,配置好Hadoop参数(重点1) 都要安装SSH服务，如果没有安装ssh服务，则启动每台机器，分别安装ssh服务： $ sudo apt-...
Hadoop集群的安装和配置
qq_36528311的博客
05-30 293
一、首先下载好jdk、hadoop包，放入linux并解压 注意： 1、大家尽量选择centos6版本，反正我用的是centos7,出现了很多问题，可能是7增加了一些安全机制，导致在免密登陆那块很容易出现授权列表有公钥也无法登陆问题 2、用普通用户模式进行密钥的分发和集群的开启，如果用root用户模式，可能会出现意想不到的问题，比如：系统只认第一次进行密钥分发的模式（普通用户模式/root用...
大数据Hadoop环境安装
qq_32729301的博客
11-28 1378
工作场景的需要，最近开始学习起了大数据相关的东西。对于我这个初学者，大数据入门就是首先得学会Hadoop环境的安装，按照步骤如遇相关问题，请指正。Hadoop环境的安装，我是用自己电脑借助VMware workstation构建了三个虚拟机节点，进行安装的。
Hadoop和Hadoop集群的安装和配置
little_sloth的博客
06-26 611
hadoop和hadoop集群的安装和配置 文章目录hadoop和hadoop集群的安装和配置一、安装centos7.0二、hadoop安装前配置三、安装以及配置Hadoop环境四、启动Hadoop四、测试五、Hadoop集群配置 一、安装centos7.0 安装方式详见：https://blog.csdn.net/little_sloth/article/details/106785511 二、hadoop安装前配置 安装完虚拟之后，使用moba进行后续操作 1 . 配置免登录: 1） 生成密钥：ss
大数据入门Hadoop安装
qq_41842579的博客
12-22 214
解压hadoop tar -zxvf h -C app/ hadoop文件目录结构解析: bin:可执行脚本 sbin:系统脚本,启动停止hadoop的脚本 etc:hadoop的配置文件 lib:hadoop的本地库 include:本地库包含文件 share:包含了hadoop的jar包和一些说明文档,我们可以删除说明文档,精简hadoop 进入hadoop的配置文件去更...
Hadoop集群安装配置
weixin_44562654的博客
09-12 545
Hadoop集群安装配置-----------每天一句歌词：在那座阴雨的小城里，我从未忘记你 成都，带不走的 只有你
大数据集群安装学习笔记
大数据基础入门教程
02-11 384
目录 1 安装部署........................................................................... 4 1.1 solr单节点安装部署................................................................. 4 1.1.1 下载......................
VSFTP安装配置指南 - Hadoop集群实战
"Hadoop集群搭建教程，包含VSFTP的安装配置" 在深入探讨Hadoop集群之前，首先要理解Hadoop的基础概念。Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储大规模数据。它基于Google的GFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

百里 Jess

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值