Hadoop入门系列(三) Centos7的基本配置+Hadoop的安装

最新推荐文章于 2022-12-03 22:34:01 发布
最新推荐文章于 2022-12-03 22:34:01 发布
阅读量553 收藏 3
点赞数 2
分类专栏： # hadoop 文章标签： hadoop 大数据 java centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Weary_PJ/article/details/107616531
版权

Hadoop入门系列(三) Centos7的基本配置

前言准备

这些基本配置是每台虚拟机刚下完都要检查的,不仅仅是为了安装hadoop而做准备,用于其他方面也一样

1.VMware Tools的安装

VMware Tools的安装配置

2. 共享文件夹

虚拟机>设置
在这里插入图片描述
选项下的共享文件夹,改成总是启用,并添加一个文件夹
在这里插入图片描述
在这里插入图片描述
完成后就可以了,下面我们在虚拟机中找到它
在这里插入图片描述
就在mmt当中 在这里插入图片描述

在这里插入图片描述
如果消失了就用这个命令

sudo vmhgfs-fuse /mnt/hgfs/

3. 赋予hadoop用户sudo权限

[hadoop@HadoopMaster ~]$ su
密码：
[root@HadoopMaster hadoop]# gedit /etc/sudoers

在打开的文件中找到下面这行,把自己创建的用户加入
这里我创建的用户是hadoop, 所以我就加了一行hadoop ALL=(ALL) ALL
下面显示的格式是sh ,可以在gedit打开文件后自行修改显示样式,默认的是matlab形式
在这里插入图片描述
保存并退出即可

4. 配置主机名与ip映射

[hadoop@HadoopMaster ~]$ sudo vim /etc/hosts

这里建议注释上面两行,在下面加上一行
格式是自己虚拟机的ip 与 虚拟机的主机名

在这里插入图片描述
可以自己测试一下能不能ping通
在这里插入图片描述

基本配置

完成了之前的几步操作,接下来就可以进行CentOS的其他配置了

网络环境配置

1.关闭防火墙与SELinux

在Hadoop安装过程中需要关闭防火墙和SELinux，否则会出现异常。防火墙是隔离内
外网、过滤非法数据的有力屏障，正确使用防火墙可以确保系统的网络安全。然而在Hadoop
安装过程中需要关闭防火墙和SELinux，否则会出现异常。以hadoop用户身份登录进行系统，在终端中执行以下命令关闭SELinux和防火墙

sudo  systemctl  stop  firewalld      #停止防火墙服务
sudo  systemctl  disable firewalld     #关闭防火墙开机自动启动
sudo  sed  -i  's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config #关闭SELinux
grep  SELINUX=disabled  /etc/selinux/config     #检查配置是否已修改
sudo  setenforce  0                           #停止SELinux
firewall-cmd --state 		# 查看默认防火墙状态

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2.jdk安装与环境配置

首先移除系统自带的jdk

rpm -qa | grep java
sudo yum remove java-1.*

在这里插入图片描述

然后把事先准备好的文件上传到虚拟机中
/mnt/hgfs/emjoy这里我就用到了虚拟文件夹

cd /mnt/hgfs/emjoy
sudo  rpm  -ivh  ~/jdk-8u172-linux-x64.rpm  #安装JDK1.8

在这里插入图片描述
配置环境变量

cat << EOF | sudo tee  /etc/profile.d/jdk.sh > /dev/null

以上命令执行后出现">"提示后，输入的文件内容

export JAVA_HOME=/usr/java/default
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${PATH}:${JAVA_HOME}/bin
EOF

source  /etc/profile.d/jdk.sh  #使配置立即生效

输入java -version查看是否成功,如下,输入下面的信息,就说明java的安装成功在这里插入图片描述

3.ssh无密码验证配置

Hadoop是通过SSH来启动和管理各个DataNode上的各种守护进程的，节点之间不需
要输入密码就可以执行指令，故我们需要配置SSH无密码公钥验证。

ssh-keygen  -t  rsa  -P ''  -f  ~/.ssh/id_rsa

在这里插入图片描述

在这里插入图片描述
使用下面的命令导入hadoop用户公钥

ssh-copy-id  hadoop@localhost

该命令的作用是将本地用户通过sshkeygen创建的公钥写入将要登录的远程系统上hadoop
用户的授权文件”~/.authorized_keys”中。凡是在拥有此授权文件中的一个公钥的
用户都可以以hadoop用户的身份无密码远程ssh登录系统。用下列命令可以查看授权文件
中的公钥信息。

验证无密钥登录

ssh  hadoop@localhost
或者
ssh localhost

不许要输入密码 就说明成功了
退出ssh 使用 exit命令或者快捷键CTRL+D

如果SSH无密码验证配置过程中有操作错误，可以执行以下命令删除与ssh密钥相关
的所有文件，然后再重新配置。

rm -rf ~/.ssh
4. 安装hadoop2.8.3系统
下载
cd  ~
curl   -O  \
http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz

在这里插入图片描述

安装
tar  xvf  ~/hadoop-2.8.3.tar.gz  -C  ~ #将安装包解包到主目录
sudo  mv  ~/hadoop-2.8.3  /usr/local/hadoop2  
mkdir  -p  /usr/local/hadoop2/tmp/dfs/{name,data}

在这里插入图片描述

环境变量

执行下列命令在/etc/profile.d目录下建立hadoop的环境变量配置文件hadoop2.sh 执行
第2条命令后，核对一下文件内容是否正确正确后再执行后续命令。

echo  'export HADOOP_HOME=/usr/local/hadoop2
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"'  >  ~/hadoop2.sh

cat  ~/hadoop2.sh
sudo  mv  ~/hadoop2.sh  /etc/profile.d/
sudo  chown  root:root  /etc/profile.d/hadoop2.sh
source  /etc/profile.d/hadoop2.sh

在这里插入图片描述

检查安装是否成功**
hadoop  version

在这里插入图片描述

安装本地库

hadoop使用Java语言开发，但是一些需求和操作并不适合使用java语言处理，为了提
高性能就引入了本地库(c/编写的。安装本地库可以提高系统性能，但不安装系统也可以
正常工作，差别仅是性能稍低。执行以下命令安装本地库。

sudo yum install zlib snappy lz4 bzip2 openssl-libs openssl-devel  #安装本地库
cp  $HADOOP_HOME/lib/native/*  $HADOOP_HOME/lib/ #复制hadoop库到库目录下
hadoop  checknative  #检查本地库状态

若第3条命令的执行结果如下，既所有本地库的状态均显示为”说明本地库安装
成功。
在这里插入图片描述

5.配置 Hadoop2.8.3 伪分布式系统

在这里插入图片描述

tar -xvf ./hadoop2configfiles.tar -C /usr/local/hadoop2/etc/hadoop/

方法二是直接修改配置文件，请按以下方法修改

修改hadoop-env.sh文件
sed  -i  's/# export JAVA_HOME=/export JAVA_HOME=\/usr\/java\/default/g'  \
/usr/local/hadoop2/etc/hadoop/hadoop-env.sh

在这里插入图片描述

修改core-site.xml文件

在这里插入图片描述

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop2/tmp</value>
    </property>
</configuration>
修改hdfs-site.xml文件
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>   
       <name>dfs.namenode.name.dir</name>   
       <value>file:/usr/local/hadoop2/tmp/dfs/name</value>   
    </property>   
    <property>   
       <name>dfs.datanode.data.dir</name>   
       <value>file:/usr/local/hadoop2/tmp/dfs/data</value>   
    </property>  
</configuration>

在这里插入图片描述

修改mapred-site.xml文件

在这里插入图片描述

<configuration>
    <property>     
       <name>mapreduce.framework.name</name>   
       <value>yarn</value>      
    </property> 
    <property>     
       <name>mapreduce.application.classpath</name>   
       <value>/usr/local/hadoop2/share/hadoop/mapreduce/*, /usr/lib/hadoop2/share/hadoop/mapreduce/lib/*</value>
    </property> 
</configuration>
修改yarn-site.xml文件
<configuration>
   <property>  
       <name>yarn.nodemanager.aux-services</name>  
       <value>mapreduce_shuffle</value>  
   </property>  
   <property>  
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
   </property> 
</configuration>

在这里插入图片描述

6.HDFS文件系统格式化和系统启动
格式化

执行以下命令进行格式化

cd  $HADOOP_HOME
bin/hdfs  namenode  -format

在这里插入图片描述

启动hadoop

执行以下命令启动系统

cd  $HADOOP_HOME
sbin/start-dfs.sh
sbin/start-yarn.sh

结果如下
在这里插入图片描述
在这里插入图片描述

查看结果

当输入jps后输出以下六个进程,就说明启动成功了
在这里插入图片描述

浏览器查看

进入虚拟机桌面,打开浏览器在地址栏输入“http://localhost:50070”后，如果能打开下
图NameNode的Web管理网页说明成功启动了Hadoop的NameNode，通过这个页面可以
查看Hadoop的HDFS文件系统的目录结构、存储的文件、系统日志及当前状态。
在这里插入图片描述
http://localhost:50070
在这里插入图片描述
http://localhost:8088
在这里插入图片描述

7.Hadoop系统的关闭

执行以下两条命令就可以关闭系统

cd  $HADOOP_HOME
sbin/stop-yarn.sh
sbin/stop-dfs.sh

特别提醒：如果启动了Hadoop，请在CentOS6操作系统关闭前务必关闭Hadoop系统，否则会损坏HDFS文件系统。

Joker-Tong
关注
专栏目录
hadoop入门【1】在CentOS7中安装Hadoop
万和IT教育
06-04 219
hadoop是大数据入门组件，主要包括两个服务，hdfs以及mapreduce，前者是存储，后者是计算。本文将阐述hadoop的安装。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.192，请读者根据自己实际情况设置 jdk1.8.0_162 已经安装完毕，并配置环境变量，作者的环境变量为/root/jdk1.8.0_162，请读者根据自...
centos7 下载安装配置Hadoop
yxiyyxy的博客
07-08 440
1.修改虚拟机配置，点击编辑，再点虚拟网络编辑器 然后点击更改设置 选择NAT模式 分别点击这三个地方，修改成如图这样 2，然后新建一个虚拟机 3，创建成功之后，查看网关配置 看能否上网,命令： vi /etc/sysconfig/network-scripts/ifcfg-ens33 如果ONBOOT=no，改为yes，然后添加红框内的内容，之后保存。 4.让配置生效，使用命令service network restart 5，ping百度，看是否p.
Hadoop 安装及配置(centos系统)
mthinking
01-15 257
JDK配置 本文操作区别于上一篇的Centos 7 最小系统配置java环境，可自行选择。 1.安装jdk         a)下载jdk-8u65-linux-x64.tar.gz         b)解压JDK包（此处是在centos根目录下的downloads文件夹操作，也可自行选择操作目录） $&gt;su centos ; cd ~ $&gt;mkdir downloads $&...
基于CentOS安装并配置Hadoop
风口IT猪的成长录
09-04 713
基于CentOS安装并配置 Hadoop1. 下载 Hadoop2. Xshell 上传至 Linux3. 解压 Hadoop4. 配置环境变量5. 测试 Hadoop6. Hadoop 目录结构 1. 下载 Hadoop 在 hadoop102 安装 Hadoop： Hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 2. Xshell 上传至 Linux 1）用 XShell 文件传输工具将 hadoop-3.1
Hadoop学习准备工作 - Centos 7 系统安装与配置
r_aider的博客
04-19 528
一、 VMware安装    虚拟机版本：VMware® Workstation 14 Pro。安装过程略。二、 CentOS安装1.  CentOS下载    打开官网链接： centos主页面提供了多种类型的镜像文件的下载链接。 镜像文件类型说明： DVD ISO：普通光盘完整安装版镜像，可离线安装到计算机硬盘上，包含大量的常用软件，一般选择这种镜像类型即可。 Everything ISO：包...
Linux-centOS7中hadoop的安装和配置
yk997575119的博客
04-02 504
hadoop的安装和配置STEP.1 关闭防火墙STEP.2 免密登录STEP.3 安装JDKSTEP.4 hadoop的安装STEP.4 hadoop的配置 STEP.1 关闭防火墙 ###1.查看防火墙状态 systemctl status firewalld.service 这里Active: inaction(dead)是因为我之前就已经关闭了 ###2.关闭防火墙 system...
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：... 一、 环境说明 主机名 Zookeeper ...(QuorumPeerMain) ...Controller
hadoop2.7+centos7+hive+zookeeper分布式安装
03-01
linux上在centos系统中进行hadoop完全分布式集群安装，在hadoop安装完成后的基础之上安装元数据库Mariadb，配置完成后安装hive，zookeeper等。
从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建
08-11
适合新手，详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 ...centos7下,roo用户进行如下操作: 查看现有配置文件 本次需要修改ifcfg-ens33(其他系统可能稍有区别,比如ifcfg-ens) vim ifcfg-ens33 重启网络服务: 如果是集群配置,其
centos7下配置hadoop分布式环境完整版
03-05
centos7下配置hadoop分布式环境完整版,比较详细，如有不懂的可到http://www.cnblogs.com/caijh/下留言呢谢谢
HADOOP安装（centos7下配置HADOOP3.2.2集群）1
08-04
1.建立安装目录 2.下载 3.解压 1.ifconfig查看网卡 3.关闭防火墙 1.在家目录里建立一个1.sh,复制下面的东西进入1.sh 2.执行1.sh
hadoop在CentOS下的安装配置
weixin_30553065的博客
12-12 66
版本：CentOS-6.8-x86_64-minimal，hadoop2.6.4，jdk1.7.0 首先把jdk、hadoop压缩包下载发送到CentOS下并解压 下载发送不多赘述，解压命令tar -zxvf 压缩包 mv 原文件名 新文件名 （注意空格） 先配置jdk 进入jdk目录 pwd 查看当前目录复制备用/apps/jdk1.7.0_25 配置环境...
4.1.CentOS7下安装和配置Hadoop
IT瘾君子的博客
01-07 1172
CentOS7下安装和配置Hadoop
CentOS配置hadoop
Pauline
03-14 342
上传hadoop targz包到/opt目录 执行解压缩： cd /opt tar -zxf hadoop-2.6.4.tar.gz -C /usr/local 进入解压的目录 cd /usr/local/hadoop-2.6.0/etc/hadoop/ 依次修改下面的文件 4.1、修改core-site.xml(centos67修改为你自己的机名和端口号) <configuration>
一、CentOS7下Hadoop安装以及伪分布式的配置
qq_29746813的博客
11-08 295
在安装Hadoop之前，首先要安装JDK，因为Hadoop是基于Java语言的。 1 JDK的安装 JDK下载，接受的它协议，在这里我选择的是Java SE Development Kit 8u231的Linux版本，因为我centos是64位的，所以下载的也是64位的JDK，现在下载可能需要注册Oracle账号，注册完就可以下载。 你也可以根据你centos选择，32位的JDK还是64位的JD...
CentOS下 安装配置hadoop环境--单实例版
weixin_33963189的博客
04-01 241
CentOS下1、安装linux2、安装jdk[root@Cent0S1 ~]# javac //显示信息[root@Cent0S1 ~]# rpm -qa |grep jdk //查看是否有安装包 [root@Cent0S1 ~]# which java //查看Java命令位置/usr/bin/java[root@Cent0S1 ~]# javac -version //查看Ja...
CentOS7下Hadoop的环境配置及其安装
qq_45480056的博客
03-02 448
在CentOS7.4环境下安装伪分布式的Hadoop环境（因为只有一台电脑，而且还是在VMware虚拟机上运行，计算机的原因无法带动多个虚拟机） 一、事前准备 1、关闭防火墙 注：如果不关闭防火墙，会出现以下几种情况： ·hdfs 的web 管理页面，打不开该节点的文件浏览页面 ·后台运行脚本（HIVE 的），会出现莫名其妙的假死状态 ·在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正...
centos7安装配置hadoop-3.3.1(安装实验手册 修改版)
最新发布
qq_52758947的博客
12-03 804
实验环境的配置PC机。linux操作系统1. 首先安装rsync2.关闭防火墙并禁止防火墙开机启动实验内容与具体步骤3. 添加hadoop用户和设置hadoop用户的密码4. 上传jdk和hadoop安装包5. 将jdk解压6. 配置环境变量修改:/etc/profile文件,在末尾加上下面两句话export JAVA_HOME=/usr/local/ jdk1.8.0_111export PATH=$JAVA_HOME/bin:$PATH7.使/etc/profile生效并测试Java环境8. 解压
CentOS7安装配置Hadoop实战指南
CentOS7-Hadoop安装配置 本资源是一份关于在CentOS7系统上安装配置Hadoop的实践手册，涵盖了从安装操作系统到部署Hadoop集群的详细步骤。以下是手册的主要内容： 1. CentOS7基础 - 下载：手册提供了CentOS7 ISO...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Joker-Tong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值