基于centos系统对hadoop的实例研究

最新推荐文章于 2022-07-30 11:53:51 发布
最新推荐文章于 2022-07-30 11:53:51 发布
阅读量194 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/inswhit/article/details/115396847
版权

作者：inswhit

在centos7系统下安装和配置hadoop

提示：下面案例可供参考

文章目录

一、工具介绍

1.VMware Workstation15 pro
2.xftp和xshell
3.浏览器
4.java与hadoop的安装包
下载地址：https://pan.baidu.com/s/1gvClzJ2MHYiHs6Tmid8MIQ
提取码：wca2

二、实验内容

1.在VMware下自定义安装centos7

在vw下自定义安装centos7

2.在安装过程中创建hadoop用户和设置密码（因为是测试，所以密码设置是123456）

在这里插入图片描述

3.配置静态ip，使虚拟机跟物理机能ping通

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
随后重启网卡和查询ip有没有配置成功

systemctl restart network	#重启网卡
service network restart		#重启网卡

在这里插入图片描述

4.关闭selinux

vi /etc/selinux/config

将selinux改为disabled
在这里插入图片描述

5.关闭防火墙

systemctl stop firewalld	#暂停防火墙
systemctl disable firewalld        #关闭防火墙

在这里插入图片描述

6.进入sudoers设置用户权限

sudo vi /etc/sudoers

在这里插入图片描述

7.修改主机名字为master

hostnamectl set-hostname master[主机名]

在这里插入图片描述

8.配置hosts文件

vi /etc/hosts
【master 】ip  master [主机名]
【slave01】ip  slave01[主机名]
【slave02】ip  slave02[主机名]

在这里插入图片描述

9.使用xftp将java与hadoop的安装包拉入/usr 目录并进行解压和重命名

在这里插入图片描述

tar -zxvf /usr/jdk-8.tar.gz -C /usr/

在这里插入图片描述

mv /usr/jdk1.8.0_201/ /usr/java

在这里插入图片描述

10.配置java环境变量

vim /etc/profile

在最底下输入

#JAVA_Env
export JAVA_HOME=/usr/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

在这里插入图片描述
并使配置文件生效

source /etc/profile

在这里插入图片描述

11.关闭master虚拟机并克隆出两台虚拟机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

12.修改slave01，02的ip和主机名字

12.1 修改01的网卡
在这里插入图片描述
在这里插入图片描述
12.1.1 刷新网卡
在这里插入图片描述

12.1.2 修改slave01
在这里插入图片描述
12.2 修改02的网卡
在这里插入图片描述
在这里插入图片描述
12.2.1 刷新网卡
在这里插入图片描述

12.2.2 修改为slave02
在这里插入图片描述

13.在master主机下启动ssh免密配置及验证

13.1 安装ssh

yum install openssh* -y

在这里插入图片描述
13.2 切换到hadoop用户
在这里插入图片描述
13.3 生成密钥

ssh-keygen -t rsa

在这里插入图片描述
一直回车在这里插入图片描述

13.4 依次发送给本机，slave01，slave02节点

ssh-copy-id -i master
ssh-copy-id -i slave1
ssh-copy-id -i slave2

在这里插入图片描述
这里输入yes（三台机都会提示）
在这里插入图片描述
hadoop用户的密码（三台机都会提示）
在这里插入图片描述
发送给01

在这里插入图片描述
发送给02
在这里插入图片描述
13.5使用ssh远程登陆master，slave01，slave02查看是否成功（切记！！！登陆查看后需要退出！）

ssh master
ssh slave1
ssh slave2

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

14.在master上安装hadoop

1.解压安装包

sudo tar -zxvf /usr/hadoop-3.1.2.tar.gz -C /usr/

在这里插入图片描述
2.重命名安装包的名字

sudo mv /usr/hadoop-3.1.2/ /usr/hadoop

在这里插入图片描述
3.修改环境配置文件

sudo vi /etc/profile

在这里插入图片描述

#Hadoop_Env
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

在这里插入图片描述

4.使环境变量生效
在这里插入图片描述

15.配置hadoop文件

1.配置hadoop-env.sh文件

sudo vi  $HADOOP_HOME/etc/hadoop/hadoop-env.sh

在这里插入图片描述
进入文件后可以直接打进去，因为整个文件里的数据都是不生效的

JAVA_HOME=/usr/java

在这里插入图片描述
2.配置core-site.xml文件

sudo vi $HADOOP_HOME/etc/hadoop/core-site.xml

在这里插入图片描述

<configuration>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://master:9000</value>
        </property>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>/home/hadoopData/tmp</value>
        </property>
</configuration>

在这里插入图片描述
3.配置hdfs-site.xml配置文件

sudo vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

在这里插入图片描述

<configuration>
        <property>
              <name>dfs.replication</name>
              <value>2</value>
        </property>
        <property>
              <name>dfs.namenode.name.dir</name>
              <value>/home/hadoopData/dfs/name</value>
        </property>
        <property>
              <name>dfs.datanode.data.dir</name>
              <value>/home/hadoopData/dfs/data</value>
        </property>
        <property>
              <name>dfs.namenode.http-address</name>
              <value>0.0.0.0:50070</value>
        </property>
</configuration>

在这里插入图片描述
4.配置yarn-site.xml文件

sudo vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

在这里插入图片描述

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>master</value>
        </property>
        <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
        </property>
</configuration>

在这里插入图片描述
5、配置mapred.site.xml文件

sudo vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

在这里插入图片描述

<configuration>
        <property>
              <name>mapreduce.frameword.name</name>
              <value>yarn</value>
        </property>
        <property>
              <name>mapreduce.jobhistory.address</name>
              <value>master:10020</value>
        </property>
        <property>
              <name>mapreduce.jobhistory.webapp.address</name>
              <value>master:19888</value>
        </property>
</configuration>

在这里插入图片描述

16.配置workers文件【添加数据节点的主机名】

sudo vi $HADOOP_HOME/etc/hadoop/workers

在这里插入图片描述

17.同步节点(master节点上的安装文件同步到slave01、slave02节点)

1.同步slave01

sudo scp -r /usr/hadoop/ slave01:/usr/

在这里插入图片描述

输入：yes
在这里插入图片描述
hadoop用户密码在这里插入图片描述
2.同步slave02

sudo scp -r /usr/hadoop/ slave02:/usr/

在这里插入图片描述
输入：yes
在这里插入图片描述
hadoop用户密码在这里插入图片描述

18.新建数据文件目录（三个节点都要）

sudo mkdir -p /home/hadoopData/tmp
sudo mkdir -p /home/hadoopData/dfs/name
sudo mkdir -p /home/hadoopData/dfs/data

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

19.修改hadoop的文件属主权限（三个节点都要）

sudo chown -R Hadoop:Hadoop /usr/hadoop
sudo chown -R Hadoop:Hadoop /home/hadoopData/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

20.在master上格式化namenode

hdfs namenode -format

在这里插入图片描述

21.启动hadoop

start-all.sh

在这里插入图片描述

22.查看进程

jps

在这里插入图片描述

23.在浏览器中打开http://192.168.81.100:50070，查看NameNode 节点的状态

点击浏览DataNode 数据节点
在这里插入图片描述
在这里插入图片描述

24.在浏览器打开http://192.168.81.100:8088，查看所有的应用

浏览Nodes
在这里插入图片描述
在这里插入图片描述

三.问题总结

1.查询ssh密钥是否成功时，一定要记得查询完后exit退出。
2.如果jps进程和网页的进程少了，那可能配置文件的路径或者环境变量有问题，请仔细检查。

inswhit
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
centos7_hadoop3.1.2_hdfs配置（完整版）.docx
07-05
CentOS 7 下 Hadoop 3.1.2 HDFS 配置详解 本文档旨在详细介绍 CentOS 7 下 Hadoop 3.1.2 HDFS 的配置过程，包括安装 JDK、Hadoop、HDFS 的配置文件修改、HDFS 的单机版配置等。 一、安装 JDK 在 CentOS 7 中安装 ...
hadoop集群完全分布式集群搭建【基于centos7.0】
初学者
08-19 234
hadoop集群完全分布式集群搭建 1、集群部署规划 2、创建集群脚本 a）在/home/yrx目录下创建bin目录，并在bin目录下xsync创建文件， 文件内容如下： 注：如果没有安装xsync的话，我们可以先装 yum -y install rsync #启动rsync服务 systemctl start rsyncd.service systemctl enable rsyncd...
Hadoop（一）之实验一CentOS7配置Hadoop系统：配置CentOS和下载安装包
sandalphon4869的博客
11-04 1193
文章目录2.创建虚拟机3.配置静态IP、修改主机名4.将刚刚的c0虚拟机克隆三台出来5.在四台机子上设置hosts，一下以c0为例6.配置 SSH 免密码登录登录7.关闭防火墙 2.创建虚拟机 ①打开VMware，点击新建虚拟机。 ②选择典型类型，下一步。 ③选择稍后安装操作系统，下一步。 ④客户机操作系统–Linux版本，CentOS 7 64位。 ⑤命名虚拟机c0，选择位置。 ⑥使用默认磁盘...
CentOS搭建Hadoop集群
酒鬼の博客
03-26 158
前期准备 主机 系统 ip地址 master CentOS7 192.168.11.61 slave CentOS7 192.168.11.62 ps:大家使用克隆的方式复制多个独立的虚拟机,每个虚拟机创建...
微软在好莱坞输给了Linux
neo_liukun的专栏
09-18 1332
对打造了《2012》这样史无前例科幻巨制的好莱坞来说，越来越成为电影娱 乐技术商的英特尔和AMD，才是幕后的“收割者”。黄石公园火山熔岩喷涌而出；洛杉矶在山崩地裂的轰鸣声中断裂沉陷；海浪夹带着约翰肯尼迪号航空母舰砸向 白宫……人们所能想象到的惨烈灾难，都在这个世界末日集中直观呈现
linux之软件管理总结
cp_dvd的博客
07-30 359
1下载到安装包[root@centos8~]#yum-yinstall--downloadonly--downloaddir=/data/httpdhttpd。2安装root@rocky86-1data]#yum-yinstall/data/httpd/*.rpm。file//本地路径http//https//ftp//地址[root@rocky86-1~]#cd/etc/yum.repos.d/
基于CentOS 7的Hadoop集群配置的研究与实现.docx
最新发布
11-07
【基于CentOS 7的Hadoop集群配置的研究与实现】 Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据。本论文详细探讨了在CentOS 7操作系统上配置和实施Hadoop集群的过程，这对于理解和掌握大数据处理...
centos下安装Hadoop
04-14
本文档是教您如何在centos下安装Hadoop，并运行简单实例。很详细，而且很准确。
基于Hadoop的电影影评数据分析
04-04
总结来说，【基于Hadoop的电影影评数据分析】项目是大数据技术在生活娱乐领域的应用实例，它涵盖了Hadoop环境的搭建、MapReduce编程模型的运用以及大数据分析的实践。通过这个项目，学生可以深入理解大数据处理流程...
好莱坞Hollywood FX4.58安装方法
08-17
好莱坞Hollywood FX4.58+卡通特效插件
Linux下cmatrix的安装和使用
01-09
安装过程 　　wget http://www.asty.org/cmatrix/dist/cmatrix-1.2a.tar.gz 　　tar xvf cmatrix-1.2a.tar.gz 　　cd cmatrix-1.2a 　　yum install ncurses-devel 　　./configure && make && make install 　　使用说明 　　cmatrix [-abBflohnsVx] [-C color] 　　选项 　　-a :异步滚动（默认） 　　-b :随机粗体 　　-B :全部粗体 　　-f :force the linux $T
【环境搭建-04】CentOS上搭建Vulhub靶场
m0_64378913的博客
07-01 3865
（1） Vulhub是一个面向大众的开源漏洞靶场，无需docker知识，简单执行两条命令即可编译、运行一个完整的漏洞靶场镜像。 （2） 该靶场旨在让漏洞复现变得更加简单，让安全研究者更加专注于漏洞原理本身。（1）如果是在真实机中部署该靶场则直接跳过该步骤； （2）在虚拟中安装CentOS可以参考文章《【Linux系统】第1节 CentOS7虚拟机安装》。本小节分享时，Linux操作系统为CentOS7。主要操作步骤如下： （1）打开终端，切换至root用户，使用命令：进行安装。安装过程中有多次需要确认，输入
在centos 7下用cmatrix做出×××屏幕代码雨效果
非衣鲲化的博客
03-15 531
https://blog.51cto.com/5232821/2146115?source=dra
在centos下用cmatrix做出黑客屏幕数字下雨效果
Mojito Blogs
01-30 1万+
如图: 注意:试了在centos下面使用wget命令不能用. 步骤1:在网盘下载cmatrix 链接: https://pan.baidu.com/s/1pM4j9SB 密码: yjh5 网盘无效,可以在github上面download https://github.com/abishekvashok/cmatrix/releases 步骤2:打开centos,使用命令 mkd...
终端的乐趣--Linux下有趣的终端命令或者工具
热门推荐
OSKernelLAB(gatieme)
08-07 2万+
1 工具篇1.1 tpp好,文艺程序员终极装X杀器来了!!!这是一个在终端上演示PPT的程序,要是哪天演讲的时候用它来展示,那真是狂拽酷炫叼炸天,分分钟惊艳全场!那要怎么使用呢? 首先要安装: sudo apt-get install tpp 然后自己制作一个tpp演示文件,具体格式可在这里看到: Nico Golde’s website这里贴一段我上面的tpp文件代码吧,这是一个最简单
如何安装 Hollywood 入侵终端在 Linux 之上
weixin_34224941的博客
05-23 1820
linux hollywood 这个工具非常适合叫做 Hollywood 。从根本上说，它运行在 Byobu ——一个基于文本的窗口管理器，而且它会创建随机数量、随机尺寸的分屏，并在每个里面运行一个混乱的文字应用。 Byobu是一个在 Ubuntu 上由 Dustin Kirkland 开发的有趣工具。在其他文章之中还有更多关于它的有趣之处，让我们先专注于安装这个工具。 Ubuntu 用户...
装逼一定要掌握这几个Linux命令
Peter的专栏
01-14 446
黑客，相信是每个理工男都想成为的角色。小时候电影中我们经常看到黑客们面对繁琐复杂的数据，在键盘上几个快速的操作动作让电脑立刻跳出炫酷的界面。长大后我们在B站上也有看到所谓的大佬背靠一个快...
CentOS上Hadoop环境配置与入门实例
本篇文章主要介绍了如何在CentOS系统上进行Hadoop的安装与配置，以及一个简单的实战案例。首先，安装前需要对环境进行必要的准备工作，包括配置Java Development Kit (JDK) 和相关工具如Maven、Ant和FindBugs。以下...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值