环境搭建_HDFS搭建

最新推荐文章于 2024-06-06 18:51:00 发布
最新推荐文章于 2024-06-06 18:51:00 发布
阅读量987 收藏 1
点赞数
分类专栏： 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_Java_Roy/article/details/98762753
版权

序言：本文介绍HDFS分布式搭建，使用4台新的虚拟机，文中部分需要使用到wget等工具，请自行下载。菜鸟作者用来整整2天的时候才搭建成功，中间遇到了种种坑~~~

环境：

在这里插入图片描述

1. 使得主机之间可以互相通信
1.1 修改主机名：

 hostnamectl set-hostname 主机名

1.2 修改hosts文件

vim /etc/hosts

加入以下语句

192.168.174.128    master
192.168.174.129    slave1
192.168.174.130   slave2
192.168.174.131    slave3

2.安装jdk（如已安装，则跳过此步骤）
2.1 创建jdk目录

mkdir jdk

2.2 进入jdk目录

cd jdk

2.3 下载jdk

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

2.4 解压jdk

tar xzf jdk-8u141-linux-x64.tar.gz

2.5 配置环境变量（文件在 /etc/profile）
在这里插入图片描述

JAVA_HOME=/jdk/jdk1.8.0_141
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

2.6 刷新配置文件

source /etc/profile

2.7 验证是否安装成功
在这里插入图片描述

java -version

3.安装hadoop
3.1 创建hadoop目录

mkdir hadoop

3.2 进入hadoop目录

cd hadoop

3.3 下载hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

3.4 解压hadoop

tar -zxvf hadoop-3.1.1.tar.gz

3.5 修改/hadoop/hadoop-3.1.1/etc/hadoop/hadoop-env.sh 文件，添加java环境变量

 export JAVA_HOME=/jdk/jdk1.8.0_141

3.6 etc/profile添加环境变量

export PATH=$PATH:/hadoop/hadoop-3.1.1/bin:/hadoop/hadoop-3.1.1/sbin

3.7 刷新配置文件

source /etc/profile

3.8 检测是否安装成功

hadoop

在这里插入图片描述

4.统一时间
4.1 安装ntp工具

yum install ntp -y

4.2 用阿里云的时间服务器

ntpdate ntp1.aliyun.com

5.设置免密登陆
5.1进入master节点，生成秘钥

ssh-keygen -t rsa

出现以下界面说明生成私钥id_rsa和公钥id_rsa.pub
在这里插入图片描述
5.2 把生成的公钥id依次发送到 master、slave1、slave2、slave3、slave4机器上，并输入节点的密码

ssh-copy-id slave1

在这里插入图片描述

5.3 尝试连接

ssh slave1

在这里插入图片描述

master未加入的情况下，可能出现如下报错：
在这里插入图片描述

6.配置HDFS
6.1 在hadoop目录下创建文件夹Hadoop存放数据的文件夹

mkdir ../hadoop/hadoopData

6.2 在 /hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml文件中的configuration加入

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/hadoop/hadoopData</value>
</property>

<property>
    <name>fs.trash.interval</name>
    <value>4320</value>
</property>
</configuration>

6.3 在 /hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml文件中的configuration加入

<configuration>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>/hadoop/hadoopData/dfs/name</value>
 </property>
 
 <property> 
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
</property>
    
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/hadoop/hadoopData/dfs/data</value>
 </property>
 
 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 
 <property>
   <name>dfs.permissions.superusergroup</name>
   <value>staff</value>
 </property>
 
 <property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
 </property>
</configuration>

6.4 在 /hadoop/hadoop-3.1.1/etc/hadoop/yarn-site.xml文件中的configuration加入

<configuration>
    <!--rm失联后重新链接的时间-->
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>
    <!--开启resourcemanagerHA,默认为false-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--配置resourcemanager-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
        <property>
        <name>ha.zookeeper.quorum</name>
        <value>node222:2181,node224:2181,node225:2181</value>
    </property>
    <!--开启故障自动切换-->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>node222</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node224</value>
    </property>
    <!--***********不同节点需要修改****************-->
    <property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
        <description>If we want to launch more than one RM in single node,we need this configuration</description>
    </property>
    <!--开启自动恢复功能-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--配置与zookeeper的连接地址-->
    <property>
        <name>yarn.resourcemanager.zk-state-store.address</name>
        <value>node222:2181,node224:2181,node225:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node222:2181,node224:2181,node225:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>ns1-yarn</value>
    </property>
    <!--schelduler失联等待连接时间-->
    <property>
        <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
        <value>5000</value>
    </property>
    <!--配置rm1-->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>node222:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>node222:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>node222:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>node222:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>node222:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm1</name>
        <value>node222:23142</value>
    </property>
    <!--配置rm2-->
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>node224:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>node224:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>node224:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>node224:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>node224:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm2</name>
        <value>node224:23142</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/usr/local/hadoop-2.6.5/yarn/local</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/home/hadoop/log/yarn</value>
    </property>
    <property>
        <name>mapreduce.shuffle.port</name>
        <value>23080</value>
    </property>
    <!--故障处理类-->
    <property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
        <value>/yarn-leader-election</value>
        <description>Optionalsetting.Thedefaultvalueis/yarn-leader-election</description>
    </property>
</configuration>

6.5 在 /hadoop/hadoop-3.1.1/etc/hadoop/mapred-site.xml文件中的configuration加入

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
    <property>
       <name>mapreduce.jobhistory.address</name>
       <value>0.0.0.0:10020</value>
       <description>MapReduce JobHistory Server IPC host:port</description>
    </property>
    <!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
    <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>0.0.0.0:19888</value>
       <description>MapReduce JobHistory Server Web UI host:port</description>
    </property>
    <property>
       <name>mapreduce.task.io.sort.mb</name>
       <value>64</value>
    </property>
    <property>
       <name>mapreduce.jobhistory.intermediate-done-dir</name>
       <value>/user/history/done_intermediate</value>
    </property>
    <property>
       <name>mapreduce.jobhistory.done-dir</name>
       <value>/user/history</value>
    </property>
</configuration>

6.6 在master下操作，进入/hadoop/hadoop-3.1.1/etc/hadoop/slaves文件（hadoop3.0后slaves改名为workers），接入节点
在这里插入图片描述
注：这相当于是一份对于DN的白名单，只有在白名单里面的主机才能被NN识别

7.指定用户
7.1.配置sbin目录下 start-dfs.sh、 stop-dfs.sh添加

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

7.2.配置sbin目录下 start-yarn.sh、stop-yarn.sh添加

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

未指定，可能出现如下报错：
在这里插入图片描述

8.格式化NameNode、启动HDFS系统
8.1 在master下操作，输入HDFS格式化命令

hdfs namenode -format

8.2 启动HDFS文件系统

start-all.sh

8.3查看HDFS状态：

 hdfs dfsadmin -report

打开HDFS的管理界面：
http://192.168.174.128:50070

在这里插入图片描述

时年、
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Docker搭建hdfs分布式实验环境
u013242054的博客
10-20 1880
HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。导入成功后，源tar文件可以删除。/usr/local/hadoop/bin/hdfs dfs -put /usr/local/hadoop/spark.tar.gz /test # 将刚压缩的文件上传到/test目录上。
头歌大数据作业二：搭建Hadoop环境及HDFS
qq_50530107的博客
06-17 4297
HDFS的数据节点负责处理客户端的读写请求，并将客户端发来的文件分割成存储块，将每个存储块中的数据保存到本地，还会将这些存储块复制到名称节点指定的若干数据节点，以实现冗余存储。答：HDFS联邦中的“块池”，是指每个数据节点所能够存储的最大的数据块数量，它的功能是为了更好的管理数据块的存储空间，可以根据块池大小，为不同的DataNode分配不同的数据块存储空间，当某个NameNode失效时，它所相关的DataNode也可以继续为其他NameNode提供服务，使得整个系统更加高可用性。
HDFS集群搭建
qq_37436172的博客
05-05 956
在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看
六、Docker Swarm、Docker Stack和Portainer的使用
最新发布
weixin_44330367的博客
06-06 874
六、Docker Swarm、Docker Stack和Portainer的使用
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
HDFS 高可用分布式环境搭建
Practitioner
09-07 488
我们再新建一个用户 good ，并且将 good 加入 ooxx 这个组，good 这个用户就可以正常上传文件到。在 node01，node02，node03 上分别启动 journalnode。在 node02，node03，node04 上分别启动 zookeeper。在 node02，node03，node04 下配置环境变量。安装包上传到 node02，node03，node04 的。我们选择 node02，在 node02 上执行。测试，在 node01 上，执行如下命令，
hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc
10-20
【Hadoop环境搭建】 在构建一个完整的Hadoop生态系统时，我们需要搭建多个组件，包括Zookeeper、HBase、Hive、MySQL、Kafka以及Spark，并且它们都要运行在HDFS之上。下面将详细介绍这些组件的安装与配置过程。 1. ...
Hadoop环境搭建和HDFS Shell命令
09-17
Hadoop环境搭建和HDFS Shell命令 ppt格式 内容丰富生动
hive环境搭建
01-20
总结起来，搭建Hive环境主要包括：准备HDFS目录、配置环境变量、编辑配置文件、添加JDBC驱动以及启动Hive服务。这个过程对于确保Hive能正确地与Hadoop集群集成、存储数据并执行查询至关重要。在实际应用中，可能还...
hadoop伪分布式环境搭建
09-22
Hadoop伪分布式环境搭建 Hadoop伪分布式环境搭建是指在单个节点上模拟分布式环境，以便于开发、测试和学习Hadoop相关技术。本文将介绍如何在Windows和Linux平台上搭建Hadoop伪分布式环境，包括下载安装Hadoop、配置...
第2章 Kylin环境搭建
01-07
上篇：第1章 大数据Kylin之术语 1、安装地址 （1）官网地址 ...（2）官方文档 ...（3）下载地址 ... 2、安装部署 （1）将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux （2）解压apache-kylin-2.5.1-bin-hbase1x.tar.gz...
HDFS总结
机械工程跑路哥
08-02 1191
HDFS（HadoopDistributedFileSystem）是一个分布式文件系统;使用场景适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。1）高容错性数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。2）适合处理大数据数据规模能够处理数据规模达到GB、TB、甚至PB级别的数据；文件规模能够处理百万规模以上的文件数量，数量相当之大。3）可构建在廉价机器上，通过多副本机制，提高可靠性。小文件；..................
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
weixin_61472217的博客
09-13 2万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
Hadoop--分布式文件系统HDFS--环境搭建
大魔王
02-16 812
HDFS为Hadoop提供的分布式文件系统，实现将文件分布式存储在很多机器上。 hdfs有着文件系统共同的特征： 有目录结构，顶层目录是：  / 系统中存放的是文件 系统可以提供对文件的：创建、删除、修改、查看、移动等功能 HDFS集群组建：                                     搭建Hadoop环境：搭建一个NameNode以及两个个DataNo...
Hadoop中hdfs环境搭建
optics's blog
12-22 442
1.     准备工具 1.     Vmware 12 2.     Centeros6.5mini 3.     Xshell 5 2.     复制4份虚拟机文件为别为node1 , node2 , node3 , node4 (删除.lck文件) 3.     分别配置4份虚拟机的ip.使得Windows中可以通过xshell等软件可以远程连接 4.     加入4条host
大数据-Hadoop-云服务器的搭建
weixin_45532984的博客
03-22 5835
一. 云服务器的购买及其设置 1. 服务器的选择及购买 2. 配置安全组规则（开放端口） 3. xshell登录，无密登录，密钥设置 二. Hadoop及JDK安装 1. Hadoop以及JDK版本选择 2. Hadoop以及JDK上传云端 3. scp命令, sync命令以及集群分发脚本xsync 4. 添加环境变量 5. 安装完成后的校验 三. Hadoop配置文件 1. core-site.xml 2. hdfs-site.xml 3. yarn-site.xml 4. m
（一）HDFS集群搭建--服务器--网络配置准备
qq_963157144的博客
01-26 698
最终效果：  流程：分别对每一台虚拟机进行1网卡配置  2IP配置 3主机配置 4重启   下面以改变hdp-02为例进行修改： 1网卡配置——如下命令 vi /etc/udev/rules.d/70-persistent-net.rules 原理：删除eth0,并将eth1改为eth0     结果如下： 2 IP设置——如下命令 vi /etc/sysconf...
hadoop 相关问题： put命令报错WARN hdfs.DFSClient: DataStreamer Exception
weixin_30539625的博客
03-03 944
使用hadoop fs -put 命令上传文件时报如下错误 16/03/03 12:58:17 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/word.txt._COPYING_ could only be ...
hadoop 开发环境搭建及hdfs初体验
09-11
搭建hadoop开发环境并进行初步体验的步骤如下： 1. 首先，根据引用中的步骤创建一个...通过以上步骤，你已经成功搭建了hadoop开发环境，并且可以进行hdfs的初步体验了。请根据你的实际需求进行后续的开发工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值