入门篇：从零到一搭建大数据开发平台（四）搭建Hadoop HDFS完全分布式集群（学生版）

最新推荐文章于 2024-09-04 20:08:15 发布
最新推荐文章于 2024-09-04 20:08:15 发布
阅读量878 收藏 5
点赞数 7
分类专栏： 大数据环境搭建全家桶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dlc_996/article/details/104472416
版权

环境：

宿主机：windows10

虚拟机：VMware15.5

系统：CentOS 6.9

JDK1.8

Hadoop-2.6.0-cdh5.14.0【获取编译后安装包 提取码: awh4 】

废话不多说开始安装

安装步骤：

一：上传压缩包并解压

二：上传完毕开始解压到指定目录 servers

操作命令： tar -zxvf hadoop-2.6.0-cdh5.14.0-编译后的版本.tar.gz -C ../servers/

  三：查看Hadoop支持的压缩方式以及本地库

进入到hadoop-2.6.0-cdh5.14.0目录 输入命令： bin/hadoop checknative   下载命令：yum -y install  openssl-devel

 四：修改配置文件

# 修改core-site.xml

进入到配置目录：cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编辑配置文件： vim core-site.xml

添加以下内容

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

# 修改hdfs-site.xml

进入到配置目录：cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编辑配置文件：vim hdfs-site.xml

添加以下内容

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

# 修改Hadoop-env.sh

进入到配置目录：cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编辑配置文件：vim Hadoop-env.sh   不用修改直接退出即可

# 修改mapred-site.xml

进入到配置目录：cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编辑配置文件：vim  mapred-site.xml

cp mapred-site.xml.template mapred-site.xml 

 

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

# 修改yarn-site.xml

进入到配置目录：cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编辑配置文件：vim  yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

# 修改slaves文件

进入到配置目录：cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编辑配置文件：vim  slaves文件

添加  主机名

node01

node02

node03

所有配置文件修改完毕

五： 创建文件存放目录

进入到hadoop安装目录

创建层级文件夹与配置文件hdfs-site.xml配置文件内的配置信息相对应（一定要看准自己的目录结构是否与配置文件一致）

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

六：安装包的分发

进入到 /export/servers目录

执行命令：
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

七：配置环境变量：三台节点都需要配置环境变量

进入到配置环境变量目录：  cd /etc/profile.d

编辑环境变量  vim hadoop.sh 

export  HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export  PATH=$PATH:$HADOOP_HOME/bin

三台节点配置完成之后  刷新生效（三台节点都需要刷新）

source /etc/profile  

八：启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。

注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

bin/hdfs namenode  -format或者bin/Hadoop namenode –format

在主节点上使用以下命令启动 HDFS NameNode： Hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode： Hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager： yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager： yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

# 脚本一键启动所有

sbin/start-all.sh

# 脚本一键关闭所有

sbin/stop-all.sh

九：浏览器查看启动页面

hdfs集群访问地址：  http://192.168.52.100:50070/dfshealth.html#tab-overview 

启动成功了。HDFS搭建结束。

看完点赞👍  养成习惯  --感谢支持！！！

BigData攻城狮
关注
专栏目录
大数据讲课笔记2.3 初探Hadoop世界
howard2005的专栏
10-04 849
1. 了解Hadoop的发展历史； 2. 了解Hadoop的版本情况； 3. 掌握Hadoop的生态体系
Flume 从0到高手一站式养成记
Amo Xiang的博客
08-07 837
文章目录一、学前必备知识二、极速入门 Flume三、极速上手 Flume 使用3.1 案例：Flume 的 Hello World!3.2 案例：采集文件内容上传至 HDFS3.3 案例：采集网站日志上传至 HDFS四、Flume 高级组件4.1 Source Interceptors4.2 Channel Selectors4.3 Sink Processors4.4 Failover Sink Processor五、Flume 出神入化篇 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初
大数据开发环境搭建步骤
大数据是什么
06-27 2850
第0步：准备好Hadoop安装包素材：hadoop-2.6.0-cdh5.7.0.tar.gz 第1步：输入如下命令，然后一直点回车键。 第2步：输入如下命令 第3步：将hadoop安装包放在E盘muke8soft文件夹里 第4步：按下键盘Alt+P,进入sftp 第5步：输入如下命令 第5步：输入下图命令（解压hadoop安装包到~/...
如何从0到1搭建大数据平台
华章IT官方博客
08-17 958
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的...
Hadoop的搭建流程
最新发布
一个大数据的爱好者
09-04 1270
hadoop的搭建流程
【大数据】从0配置一个大数据集群
BIG BOSS的博客
04-19 246
三台虚拟机/云服务器 三个节点 滴滴云修改默认root登录 查看大佬超详细博客 修改hosts ip地址 hadoop1 ip地址 hadoop2 ip地址 hadoop3 免密登录 生成秘钥 ssh-keygen -t rsa 拷贝 ssh-copy-id root@hadoop1 (分别三个机器上都拷贝3次） 永久关闭防火墙 systemctl disable firewalld c...
从0开始一步一步搭大数据集群平台，小白也能玩，超详细！！！
weixin_45594417的博客
05-24 1186
从零开始の大数据生活（始める！！！） 以下内容纯属个人学习工作总结，知识有限，有错的地方还请各位大佬指正。
CM+CDH 从0-1大数据集群基本搭建超级详细步骤
bwf317的博客
12-10 580
一 ：环境准备： 创建虚拟机命名为：democdh （虚拟机磁盘至少选60G，内存也要尽可能大写，我选的8G） 修改Windows中的host文件添加主机域名映射： 192.168.133.222 democdh 修改虚拟机democdh主机名： 命令：vi /etc/hostname 内容：democdh 修改域名映射： 命令：vi /etc/hosts 最后一行后添加内容：192.168.133.222 democdh 修改ip地址以及网管等：命令：vi /etc/sysconfi...
笔记：分布式大数据技术原理（一）Hadoop 框架
WeeeicheN 的博客
07-20 1256
前言-从 Hadoop 说起 什么是 Hadoop Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可用性。 Hadoop 中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MapReduce —— 实现在很多机器上...
Java 学习路线大全，再也不用迷路啦（持续更新）
腾讯全栈-ITCJF
10-14 2989
路线特点 最新，完整一条龙，从入门到入土（⭐ 表示推荐学习） 给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文档、项目、工具等） 划分阶段、更有计划，且在最后给出持续学习的方向、探索 Java 程序员发展的无限可能 前言 首先呢，我们要了解 Java 的应用场景和就业方向，看看和自己的学习目的是否一致，目前，Java 的岗位需求多，是后台开发的主流编程语言，功能强大，还是很值得学习的。 阶段 1：Java 入门 目标 培养兴趣、快速上手 前期准备 准备好一款在线、随时随地
人类高质量 Java 学习路线【一条龙版】
Feng_clay的博客
12-04 1679
大家好，我是张讨嫌。现在网上的编程资料实在太多了，而且人人肯定都说自己的最好，那就导致大家又不知道怎么选了。大部分的博主推荐资源，也就是把播放量高的视频说一遍，水一期视频，没有一条很清晰的学习路线。 所以今天我的这个 Java 学习路线就做做减法，给大家来个一条龙服务，Java 要学的知识点、对应的最佳学习资源和预计要花费的时间，都安排的明明白白的，不用选了，有计划了，也别再迷茫和纠结了，就无脑跟着学就行了。 我还在文档中整理了链接，也不用自己搜了，还有思维导图。 大纲 实在太长了，没办法全部展开，
大数据技术开发环境搭建.docx
04-15
目录 软件下载 2 安装虚拟机管理器 2 新建虚拟机，安装Ubuntu 3 锐捷校园认证下虚拟机Ubuntu 的联网设置 11 熟悉Ubuntu系统 13 安装SSH、配置SSH无密码登陆 20 安装Java环境 22 安装Hadoop 24 Hadoop伪分布式配置 25 启动Hadoop 26 运行Hadoop伪分布式实例 30 启动YARN 35 附加教程: 配置PATH环境变量 37 使用Eclipse编译运行MapReduce程序（Hadoop-Eclipse-Plugin，建议） 38 使用Eclipse打包自己的MapReduce程序 51 不用Hadoop-Eclipse-Plugin编写MapReduce程序 54 Hadoop集群安装配置教程 56 HBase安装 56 HBase伪分布式配置 57 HBase Shell编程实践 60 HBase JAVA API编程实践 64 安装MySQL 68 Hive安装 70 Redis安装和使用 74 MongoDB安装和使用 83 Neo4j安装和使用 96 安装Spark 103 使用 Spark Shell 编写代码 104 Scala独立应用编程 106 Java独立应用编程 109 使用Eclipse编写Spark应用程序（scala+sbt） 112 使用Eclipse编写Spark应用程序（scala）（建议） 121 使用Eclipse编写Spark应用程序（java+maven） 123 使用Eclipse编写Spark应用程序（java） 128 Storm安装和使用 130 使用Eclipse编写Storm程序（maven） 134 Kafka安装 142 Flume安装 151 Sqoop安装 159 Hama安装 165 使用Eclipse编写Hama应用程序 168 参考文献： 174
大数据平台搭建手册
12-12
JDK、Hadoop、Hive、Spark、Hbase等系统集群安装环境配置、详细安装步骤、及配置文件修改。
大数据环境搭建攻略
11-30 838
ip ddr / ipconfig 查看IP地址 大数据环境安装部署步骤 https://www.cnblogs.com/Jims2016/p/6985591.html 设置CentOS 主机名 hostnamectl set-hostname 主机名 hostname 查看设置是否成功 1、搭建环境步骤: 1)安装VMWare,然后安装CentOS，并修改linu...
Hadoop入门·从零搭建hadoop集群
empyan的博客
02-10 2709
    首先先介绍下集群。就是现在是大数据时代嘛。生活中每天无时无刻都在产生着海量数据，这些数据都是很有价值的，比如分析用户数据可以掌握用户喜好，进行针对推荐之类，医学上分析病人数据可以训练机器人学会看病。那么庞大的数据量用一台机子去计算，无论你的配置有多好，都跟不上撑不住。所以一个任务要有多台机子一起完成，一个任务由多台机子进行计算。这些机子就组成一个集群。而Hadoop中的HDFS模块，也就...
大数据环境搭建
yulishi12的专栏
02-27 1163
大数据整套环境搭建，hadoop、zk、hive、hbase、kylin、海豚
大数据集群/环境搭建指南
qq_51610110的博客
07-28 720
大数据集群/环境搭建指南
hadoop搭建
unsleepfish的博客
05-18 166
目的 本文档描述了如何安装、 配置和管理完全分布式 Hadoop 集群从几个节点到数千个节点的群集。 要使用 Hadoop，可能首先要在一台机器上安装 Hadoop （见单个节点安装). 系统必备组件 请确保您的群集中的所有节点上安装了所有必需的软件。 下载Hadoop 软件。 安装 安装 Hadoop 集群通常涉及在群集中的所有机器上解压Hadoop安装包。 通常，集群中的一台机器被指定为机作为NameNode，另一台指定为JobTracker。这些都是master。在集群中的其余计
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值