(1) HDFS安装与配置

最新推荐文章于 2024-04-25 13:49:06 发布
最新推荐文章于 2024-04-25 13:49:06 发布
阅读量2.6k 收藏 11
点赞数
分类专栏： # Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/allensandy/article/details/116082426
版权

目录

准备

第一步 设置主机名

第二步 设置网络IP

第三步 添加主机名和IP的映射关系

第四步 关闭防火墙

第五步 创建hadoop用户

第六步 在master主机上下载hadoop3.1.4、jdk1.8

第七步 添加环境变量

第八步 设置免密登录

第九步 hadoop配置

第十步 拷贝hadoop文件和/etc/profile和jdk文件

第十一步 格式化及启动hadoop

准备

准备三台虚拟机(CentOS 7.6)，网络选择NAT模式

master 192.168.10.11

slave1 192.168.10.12

slave2 192.168.10.13

 

第一步 设置主机名

[root@localhost ~]# hostnamectl set-hostname master

[root@localhost ~]# hostnamectl set-hostname slave1

[root@localhost ~]# hostnamectl set-hostname slave2

用命令[root@localhost ~]# hostname 查看

 

第二步 设置网络IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=none

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=de2680b4-14ec-46cc-845b-212aebc713c7

DEVICE=ens33

ONBOOT=yes

IPADDR=192.168.10.11

GATEWAY=192.168.10.1

NETMASK=255.255.255.0

DNS1=192.168.10.1

 

[root@master ~]#  systemctl restart network

 

分别设置为：192.168.10.11、192.168.10.12、192.168.10.13

第三步 添加主机名和IP的映射关系

每台机器都添加

[root@master ~]# vi /etc/hosts

192.168.10.11 master

192.168.10.12 slave1

192.168.10.13 slave2

 

第四步 关闭防火墙

每台机器设置

查看：systemctl status firewalld.service

关闭：systemctl stop firewalld.service  

启动：systemctl start firewalld.service  

 

第五步 创建hadoop用户

每台机器都创建

（1） 统一用hadoop 用户名密码 

用户名hadoop,密码hadoop：

#useradd hadoop;

#passwd hadoop 输入密码 hadoop

 (2) 也可直接用root 用户 

 

第六步 在master主机上下载hadoop3.1.4、jdk1.8

下载hadoop

# wget http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-3.1.4/hadoop-3.1.4.tar.gz

# tar -zvxf hadoop-3.1.4.tar.gz

# mv hadoop-3.1.4 /home/hadoop/

# chown hadoop:hadoop -R /home/hadoop/

 

下载jdk-8u291-linux-x64.tar.gz

# tar -zvxf jdk-8u291-linux-x64.tar.gz

# mv jdk1.8.0_291 /usr/local/jdk

# chmod 755 -R /usr/local/jdk

 

 

第七步 添加环境变量

现只在matser下添加

# vi  /etc/profile

export JAVA_HOME=/usr/local/jdk

export JRE_HOME=/$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export HADOOP_HOME=/home/hadoop/hadoop-3.1.4

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

 

----------------------------------------------------

下面的内容也可以配置在 hadoop-env.sh中

对应第五步中的用户

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

 

# source /etc/profile

 

第八步 设置免密登录

[root@master ~]# su - hadoop

[hadoop@master ~]$ ssh-keygen

[root@slave1~]# su - hadoop

[hadoop@slave1 ~]$ ssh-keygen

[root@slave2 ~]# su - hadoop

[hadoop@slave2 ~]$ ssh-keygen

[hadoop@master ~]$ ssh-copy-id master

[hadoop@master ~]$ ssh-copy-id slave1

[hadoop@master ~]$ ssh-copy-id slave2

[hadoop@slave1 ~]$ ssh-copy-id master

[hadoop@slave1 ~]$ ssh-copy-id slave1

[hadoop@slave1 ~]$ ssh-copy-id slave2

[hadoop@slave2 ~]$ ssh-copy-id master

[hadoop@slave2 ~]$ ssh-copy-id slave1

[hadoop@slave2 ~]$ ssh-copy-id slave2

 

第九步 hadoop配置

先在matser配置

[hadoop@master ~]$ cd /home/hadoop/hadoop-3.1.4/etc/hadoop/

[hadoop@master ~]$ mkdir /home/hadoop/hadoop-3.1.4/hdfs/tmp -p

[hadoop@master ~]$ mkdir /home/hadoop/hadoop-3.1.4/hdfs/name -p

[hadoop@master ~]$ mkdir /home/hadoop/hadoop-3.1.4/hdfs/data -p

[hadoop@master hadoop]$ vi hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

 

[hadoop@master hadoop]$ vi core-site.xml

<configuration>

     <property>

         <name>fs.defaultFS</name>

         <value>hdfs://master:9000</value>

     </property>

     <property>

         <name>hadoop.tmp.dir</name>

         <value>/home/hadoop/hadoop-3.1.4/hdfs/tmp</value>

     </property>

</configuration>

 

 

[hadoop@master hadoop]$ vi hdfs-site.xml

<configuration>

     <property>

         <name>dfs.namenode.name.dir</name>

         <value>/home/hadoop/hadoop-3.1.4/hdfs/name</value>

     </property>

     <property>

         <name>dfs.datanode.data.dir</name>

         <value>/home/hadoop/hadoop-3.1.4/hdfs/data</value>

     </property>

     <property>

         <name>dfs.replication</name>

         <value>3</value>

     </property>

     <property>

         <name>dfs.secondary.http.address</name>

         <value>master:50090</value>

     </property>

</configuration>

 

[hadoop@master hadoop]$ vi mapred-site.xml

<property>

         <name>yarn.resourcemanager.hostname</name>

         <value>master</value>

     </property>

     <property>

         <name>yarn.nodemanager.aux-services</name>

         <value>mapreduce_shuffle</value>

     </property>

 

[hadoop@master hadoop]$ vi yarn-site.xml

    <property>

         <name>yarn.resourcemanager.hostname</name>

         <value>master</value>

     </property>

     <property>

         <name>yarn.nodemanager.aux-services</name>

         <value>mapreduce_shuffle</value>

     </property>

 

[hadoop@master hadoop]$ vi workers

slave1

slave2

 

第十步 拷贝hadoop文件和/etc/profile和jdk文件

[hadoop@master hadoop]$ scp -rq /home/hadoop/hadoop-3.1.4 slave1:/home/hadoop/

[hadoop@master hadoop]$ scp -rq /home/hadoop/hadoop-3.1.4 slave2:/home/hadoop/

[hadoop@master hadoop]$ su

[root@master hadoop]# scp /etc/profile slave1:/etc/

[root@master hadoop]# scp /etc/profile slave2:/etc/

[root@master hadoop]# scp -rq /usr/local/jdk/ slave1:/usr/local/

[root@master hadoop]# scp -rq /usr/local/jdk/ slave2:/usr/local/

[root@slave1 ~]$ source /etc/profile

[root@slave2 ~]$ source /etc/profile

scp 之后记得改一下slave的权限：

每个机器都要改：

chown hadoop:hadoop -R /home/hadoop/

chmod 755 -R /usr/local/jdk

第十一步 格式化及启动hadoop

切换至hadoop用户启动：

[root@master sbin]# su - hadoop

[hadoop@master hadoop]# cd /home/hadoop/hadoop-3.1.4/sbin/

[hadoop@sbin ~]$ hdfs namenode -format

出现***has been successfully formatted.表示格式化成功。

启动：start-all.sh

查看对应进程是否启动了

[hadoop@master sbin]$ jps

61376 Jps

48002 SecondaryNameNode

48227 ResourceManager

47690 NameNode

 

[root@slave1 ~]# jps

23411 DataNode

29013 Jps

23611 NodeManager

 

[root@slave2 ~]# jps

4347 DataNode

5116 Jps

4460 NodeManager

 

测试

查看集群，活动节点是否有2个

http://192.168.10.11:8088/cluster

 

查看集群容量

[hadoop@master sbin]$ hadoop fs -df -h /

 

查看各个机器状态报告

[hadoop@master sbin]$ hadoop dfsadmin -report

 

参考：https://blog.csdn.net/qq_36454422/article/details/107588221

 

 

 

 

^果然好^
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS详解和配置文件
04-18
HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)是Hadoop中提供的一套用于进行分布式存储的文件系统。 HDFS本身是Doug Cutting根据Google的论文(简称为GFS)来实现的，因此早期的HDFS和GFS除了实现语言...
HDFS安装配置
m0_49293344的博客
01-20 2144
Hadoop 3.3.0版本提供了ARM版本的软件包，用户从项目官网上下载后只需要经过简单的配置，就可以完成部署，运行Wordcount，TeraSort等实例程序没有出现问题。wordcount是大数据领域的Hello World，运行一个统计文件中单词出现次数的程序，可以用来验证Hadoop集群的基本功能。经过上面的配置，以及能够在本地运行MapReduce任务了，为了完整的验证功能，我们还需要配置YARN。本文将记录实际安装步骤以及过程中发现的问题，安装完成后将运行几个常见的任务，验证功能性。
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
木子一个Lee的博客
02-17 2799
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
从零开始Hadoop安装和配置（超详细图文步骤）
最新发布
2301_77836489的博客
04-25 4728
从零开始Hadoop安装和配置（超详细图文步骤）
HDFS安装、配置以及基本使用
Hello World
01-16 1万+
HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的（本地文件系统的方式是基于系统调用的，当然也有类似NFS这样的网络文件系统可以使用和本地文件系统相同的访问方式，那是因为已经在内核中安装了NFS，而HDFS只是一个应用层的服务程序罢了）。但是这些命令看上去还是和常用的shell命令很类似的
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hdfs安装
weixin_53589204的博客
03-29 806
/查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件。4. 追加公钥到~/.ssh/authorized_keys文件中。
hdfs安装手册
04-21
本文档旨在提供一个详细的HDFS安装手册，帮助用户快速了解HDFS的安装步骤和配置过程。 2. HADOOP 简介 HADOOP是一个基于Apache许可的开源大数据处理框架，由 Doug Cutting 和 Mike Cafarella 于2005年创建。HADOOP...
flime安装+配置+测试+案例（采集日志至HDFS）
04-15
在本文中，我们将深入探讨 Flume 的安装、配置、测试以及如何将其应用于实际案例，即从不同节点采集日志并存储到 HDFS。 首先，我们从安装 Flume 开始。Flume 的安装包括解压安装包，重命名 Flume 目录，配置 `...
07hadoop的安装&hdfs集群的配置与测试——好程序
01-07
hadoop单机安装与测试 1•Local (Standalone) Mode（单节点的本地模式）Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境，它使用linux的文件系统，适用于开发、测试、调试环境 运行案例 2•Pseudo-...
HDFS核心配置.xlsx
02-26
HDFS核心配置.xlsx
hadoop之HDFS安装配置
Cheney6的博客
08-23 1518
准备工作 是否安装JDK 是否配置静态IP 配置 IP和主机名映射 (根目录输入 vi /etc/hosts） 检查虚拟机时间是否同步，输入date查看 关闭防火墙： systemctl disable firewalld 1.免密设置 ssh one 先连接需要免密的服务器，输入yes exit 退出 cd .ssh ssh-keygen -t rsa 四个回车（可能要输y） ssh-copy-id two three four five（四个虚拟机名字）要免密哪台...
大数据技术之Hadoop：HDFS集群安装篇（三）
路漫漫其修远兮，吾将上下而求索
08-03 2738
此为个人学习笔记，包含个人归纳总结以及结合了对网络资源的整理，初衷是为了自己复习巩固。如果能帮到各位是我的荣幸！该总结参考了黑马教程，感兴趣的也可以去观看相关视频。
Hadoop HDFS 安装详细步骤
weixin_43528018的博客
07-03 1969
执行完后，在当前的目录下会出现一个名为 hadoop-2.7.5 的文件目录，这个目录就是 hadoop 的安装目录。1 无法http://meater/dfshealth.html 中显示 其他datenode 节点。到目前为止，HDFS 的配置已经全部结束，接下来我们启动 HDFS 集群，并且验证。检查 Hadopp 和 java 版本是否对应，在官网中查。pc： ~/.ssh/konwn_hosts 中。配置 Hadoop 依赖的 JAVA_HOME。在 hdfs-site.xml 配置文件最加。
大数据从入门到精通(超详细版)之HDFS安装部署 , 跟着部署 , 真的有手就行 !
tyuiop321的博客
09-06 1201
前面我们已经介绍了HDFS的入门知识与原理，对HDFS的使用场景已经有了一个初步的认识，现在我们开始动手实操HDFS的安装吧，HDFS安装好了，对后续学习大数据的其他组件也起到一个铺垫作用。
HDFS完全分布式集群搭建与配置
stupid_gentleman的博客
09-15 2955
HDFS完全分布式集群搭建与配置
hadoop基础hdfs集群的安装配置
kyj3518861703的博客
03-31 1995
一：准备工作 1、每个节点创建相同的账号：账号名为自己名字的大写，我的时KYJ，清楚对应的ip地址和节点名称。 节点安排如下： 2、每种安装软件的安装版本： jdk 版本java version "1.8.0_271" maven 版本Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00) hadoop 版本hadoop-2.7.6 3、对五台节点的KYJ账号进行.
Hadoop 安装与配置
weixin_43571612的博客
02-22 2万+
hadoop在Ubantu中的安装与配置
Hadoop集群安装及配置
m0_61364659的博客
10-13 8353
hadoop集群搭建
02-HDFS安装部署及静态加密.pdf
06-02
HDFS安装部署及静态加密

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值