Hadoop集群安装部署(三台服务器构成一个集群)

最新推荐文章于 2023-06-27 22:55:23 发布
最新推荐文章于 2023-06-27 22:55:23 发布
阅读量818 收藏 2
点赞数
文章标签： 大数据 hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh2475855601/article/details/108955417
版权

文章目录

1.主节点主机名和静态IP配置

a) 主节点主机名

vi /etc/sysconfig/network   将HOSTNAME对应的值修改为node01

在这里插入图片描述

b) 静态IP

详见：https://blog.csdn.net/zh2475855601/article/details/108837519

2.修改主节点的/etc/hosts文件,添加IP和主机名的对应关系

vi /etc/hosts
添加：
主节点ip 主节点名
第一个节点ip 节点名
第二个节点ip 节点名

在这里插入图片描述

3.配置JDK1.8

详见：https://blog.csdn.net/zh2475855601/article/details/108929013

在这里插入图片描述

4.关闭防火墙(开机自启防火墙关闭即可)

chkconfig iptables off

5.关闭selinux

vi   /etc/selinux/config

在这里插入图片描述

6.hadoop环境安装部署

  • 软件包上传并解压
 tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz  -C ../servers/
  • 第二步查看hadoop支持的压缩方式以及本地库
    a) ./hadoop checknative
    在这里插入图片描述
    b) 安装openssl
yum -y install openssl-devel
./hadoop checknative

  • 修改配置文件

    a) 修改core-site.xml

第一台机器执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

定位到文件末尾：
在<configuration></configuration>标签内中添加：
	
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>

b) 修改hdfs-site.xml

第一台机器执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

定位到文件末尾：
在<configuration></configuration>标签内中添加：

<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>

c)修改mapred-site.xml

第一台机器执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

定位到文件末尾：
在<configuration></configuration>标签内中添加：

<property>
<!--运行模式-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
	<!--JVM重用 -->
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>

d) 修改yarn-site.xml

第一台机器执行以下命令：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

定位到文件末尾：
在<configuration></configuration>标签内中添加：

<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
<!-- nodemanager 上的附属服务，只有配置成mapreduce_shuffle 才能运行-->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

e)修改slaves文件

第一台机器执行以下命令：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

添加：
node01
node02
node03
  • 创建文件夹
第一台机器执行以下命令
node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
  • 配置hadoop环境变量
第一台机器执行以下命令
vim  /etc/profile.d/hadoop.sh

添加：
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin

配置完成之后生效
source /etc/profile

7.复制第一台机器作为二、三节点

vi /etc/sysconfig/network

第二个节点修改为node02
第三个节点修改为node03
  • -配置ssh无密码访问
在第一台机器执行以下命令：

ssh-keygen，并按三次回车
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

8.启动集群

/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/start-all.sh
大数据老人家i
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop100：大数据平台安装部署--CDH6.2版本【集群】
weixin_40612128的博客
02-02 5931
1：CDH介绍 CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 2：CDH现状分
三台异构服务器搭建hadoop HA集群史上最详细方案（HDFS+YARN）
weixin_43132360的博客
05-15 2988
三台异构主机配置hadoop高可用环境，网上见到的HA的少，记录一下
三台服务器使用docker搭建redis一主二从三哨兵，概念-搭建-整合springboot【保姆级】
小王博客基地
11-24 1804
redis在我们企业级开发中是很常见的，但是单个redis不能保证我们的稳定使用，所以我们要建立一个集群。High availability with Redis Sentinel（哨兵）Scaling with Redis Cluster（分片集群）第一个就是我们本次的要搭建的，就是高可用的哨兵，主redis挂掉，哨兵会进行投票进行故障转移！第二个就是分片集群，哨兵的一个缺点就是只能存在一个master节点，写的效率太低。分片集群就是解决哨兵的问题，可以水平扩展，提高redis的性能！
hadoop全分布安装
qq_63257044的博客
11-12 255
hadoop全分布配置
大数据hadoop集群的搭建及配置（三台）
weixin_56612338的博客
10-17 2730
Hadoop知识点 配置集群前的规划（提前写在记事本上） 确定三台的ip 找到三台虚拟机的MAC地址 给三台虚拟机起什么名字 最好在根目录下(/)建一个目录export,里面建立两个目录(servers存放解压后的软件,software存放从windows传来的压缩包) 网络配置 配置各个服务器的网络，相互之间能ping通，而且外网也可以ping通 主机名的修改，默认都是localhost，把HOSTNAME改一下，三台可以分别改为hadoop01、hadoop02、hadoop0
Cloudera Hadoop 集群安装(三台机器)
01-07
简述：Hadoop的安装对环境有比较高的要求，需要比较大的内存，一般的机器很难满足，一个人也很难有两三台独立的主机，所以只能选择使用安装虚拟机的方式安装，但是主机的内存需要在8G以上。如果小于8G可以扩展内存后...
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器...
CDH_Hadoop5.13.3集群离线部署（三台主机）
10-10
前言：想学习大数据开发，搭建大数据CDH_Hadoop集群是免不了的工作，这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情，步骤很多，配置繁琐，这也是大数据门槛高的一个体现，很多新手都卡在这一关。经过实践和...
安装hadoop集群三台虚拟机
02-17
hadoop集群三台虚拟机的安装配置
hadoop集群安装
12-07
hadoop的分布式安装，三台服务器实现为例，分别是master
3台机器配置hadoop集群_大数据开发之Hadoop科普好文——常见的45个问题解答
weixin_39615956的博客
11-25 349
摘要：时至今日，Hadoop已成为最流行的离线数据处理平台，然而它的集群配置起来并不简单。如果你学习Hadoop不久，相信下面这45个问题会对你有所帮助。在工作生活中，有些问题非常简单，但往往搜索半天也找不到所需的答案，在Hadoop的学习与使用过程中同样如此。这里为大家分享Hadoop集群设置中经常出现的一些问题，以下为译文：1.Hadoop集群可以运行的3个模式？●单机(本地)模式●伪分布式模...
Hadoop集群配置
Pandoras Box
02-05 1629
该文大部分是转载自 真实的归宿 所写的  Hadoop集群配置（最全面总结），原文链接为 http://blog.csdn.net/hguisu/article/details/7237395 文章写的很好，我大体是按照他的方法进行配置的，最终配置成功了，不过之间走了很多弯路，也查了很多其它的资料，为了避免大家再走弯路，我 写了这篇笔记，完善了一些容易出错的细节，下面是修改后的文章：
hadoop集群搭建第一部分准备 3 台虚拟机
LBJ_小松鼠的博客
11-25 2181
qqqq
大数据集群在物理机与虚拟机部署分析
qq_42264264的博客
05-23 1397
物理机与虚拟机 大数据部署
Hadoop大数据平台搭建与环境配置
gavens.wang的博客
09-13 948
Hadoop完全分布式平台搭建： 集群机器 三台机器：一个作为master，另外两个作为slave 1。分别执行ifconfig命令获取每台机器的IP地址 2。执行 sudo vim /etc/hostname 修改主机名，主机修改为master，另外两个分别修改为slave1，slave2。当然这只是为了方便，其实也可以不用修改 3。三台机器分别执行 sudo v
Redis Cluster 三主三从
weixin_52310457的博客
12-24 658
redis+cluster用的是三台主机 基础环境 三台机器 os ip CentOS 7.4 192.168.199.100 CentOS 7.4 192.168.199.101 CentOS 7.4 192.168.199.102 下载 Redis 源码包 首先在一台机器上部署两个不同端口的 Redis：192.168.199.100 make 编译 Redis 源码包时，需要用到 gcc 插件，我们安装上 gcc 插件 yum -y install wget gcc gc
用三台云服务器搭建hadoop完全分布式集群
sparename的博客
12-15 2545
本次利用云服务器搭建Hadoop集群， 在开始之前，你需要3台云服务器，可以在同一家购买也可以在不同家购买。此次教程采用百度云产品，可以换不同账号新手免费试用几个月，具体配置如下： （三）主机映射 3个虚拟机均需要修改hosts文件 使其生效 测试三台机器,是否ping通 2.选择时区 3.时间同步协议NTP master作为ntp服务器，修改ntp配置文件 屏蔽掉默认的server，设置master作为时钟源，设置时间服务器的层级为10。 重启ntp服务(master上执行) slave1
Web服务器群集：部署Tomcat
cronaldo91的博客
06-27 1309
Tomcat服务器作为一个免费的开放源代码的Web应用服务器，技术先进、性能稳定，而且免费，其运行时占用的系统资源小，扩展性好，且支持负载平衡与邮件服务等开发应用系统常用的功能。作为一个小型的轻量级应用服务器，Tomcat在中小型系统和并发访问用户不是很多的场合下被普遍使用，因此也成为目前比较流行的Web应用服务器。
【Hadoop】安装Hadoop集群（3台主机）
zhouwhui 的博客
03-18 1658
安装hadoop集群（未配置高可用HA），安全分布式（使用了3台主机，主机名分别是master、slave1、slave2）
用三台服务器搭建hadoop完全分布式集群
最新发布
08-30
要使用三台服务器搭建一个完全分布式的Hadoop集群，你需要按照以下步骤进行操作： 1. 设置主机名和IP：在每台服务器上设置唯一的主机名和IP地址。 2. 配置主机的映射：在每台服务器上配置/etc/hosts文件，将每台...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据老人家i

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值