安装Hadoop集群

最新推荐文章于 2024-09-22 20:08:28 发布
最新推荐文章于 2024-09-22 20:08:28 发布
阅读量172 收藏
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hxm6440/article/details/102890295
版权

文章目录

安装集群前的准备工作

关闭防火墙，开机不自启

server iptables stop
chkconfig iptables off

关闭selinux

vi /etc/selinux/config

ssh免密码登录

ssh-keygen -t rsa
ssh-copy-id node01

修改主机名

vi /etc/sysconfig/network

设置主机名和IP的对应关系

vi /etc/hosts
远程拷贝：scp /etc/hosts node02:/etc/

安装jdk

。。。
查看之前的这篇安装jdk：
https://mp.csdn.net/mdeditor/102639879#
保证至少有三个虚拟机，每个虚拟机完成上面操作

安装Hadoop集群

上传压缩包并解压

在这里插入图片描述

[root@node01 ~]#  mkdir -p /export/softwares /export/servers
[root@node01 ~]#  cd /export/softwares/
[root@node01 softwares]# rz
[root@node01 softwares]# mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz
[root@node01 softwares]# cd /export/servers/
[root@node01 servers]# tar -zxvf /export/softwares/hadoop-2.6.0-cdh5.14.0.tar.gz

查看Hadoop支持的压缩方式以及本地库

[root@node01 /]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/bin/
[root@node01 bin]# ./hadoop checknative

在这里插入图片描述
如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

[root@node01 bin]# yum -y install openssl-devel
[root@node01 bin]# ./hadoop checknative

在这里插入图片描述

修改配置文件

进入这个目录修改配置文件

cd /export/servers/hadoop-2.6.0-cdh5.14.0//etc/hadoop/

修改core-site.xml

[root@node01 hadoop]# vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

修改hdfs-site.xml

[root@node01 hadoop]# vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

修改Hadoop-env.sh

![在这里插入代码片](https://img-blog.csdnimg.cn/20191104093553522.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0h4bTY0NDA=,size_16,color_FFFFFF,t_70)

无需修改
在这里插入图片描述
修改mapred-site.xml

[root@node01 hadoop]# vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

修改yarn-site.xml

[root@node01 hadoop]# vim mapred-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

修改slaves文件

[root@node01 hadoop]# vim slaves

node01
node02
node03

创建文件存放目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

安装包的分发

[root@node01 hadoopDatas]# cd /export/servers/  
[root@node01 servers]# scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
[root@node01 servers]# scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

配置Hadoop的环境变量

[root@node01 profile.d]# vim  /etc/profile.d/hadoop.sh
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

在这里插入图片描述
配置完成之后生效

[root@node01 profile.d]# source /etc/profile

三台机器都要进行配置Hadoop的环境变量

[root@node01 profile.d]# scp hadoop.sh node02:$PWD
[root@node01 profile.d]# scp hadoop.sh node03:$PWD

配置完成之后生效

[root@node02 profile.d]# source /etc/profile     
[root@node03 profile.d]# source /etc/profile

集群启动

[root@node01 sbin]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin
[root@node01 sbin]# start-all.sh

在这里插入图片描述

查看集群是否启动

方法一：

[root@node01 sbin]# jps

在这里插入图片描述
方法二：
hdfs集群访问地址： http://192.168.100.21:50070/dfshealth.html#tab-overview
在这里插入图片描述
方法三：
yarn集群访问地址： http://192.168.100.21:8088/cluster
在这里插入图片描述

关闭集群

[root@node01 sbin]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin
[root@node01 sbin]# stop-all.sh

在这里插入图片描述
在这里插入图片描述

Hxm6440
关注
专栏目录
hadoop的安装
07-08
hadoop学习笔记、hadoop的安装、linux上jdk的安装等
Hadoop 安装
wang_8218的博客
04-03 794
Linux系统上安装并搭建Hadoop
Hadoop安装
最新发布
cingdy0124的博客
09-22 1455
Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。
hadoop 安装
Liulin_Think的博客
06-06 1244
1.下载:wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz2.解压:tar -zxvf hadoop-2.8.4.tar.gz3.设置环境变量:vim /etc/profile添加以下内容(/opt/soft/hadoop/hadoop-2.8.4为Hadoop安装地址):ex...
利用ansible 自动 安装Hadoop 集群
05-10
本篇将详细讲解如何利用Ansible自动安装Hadoop集群。 首先，理解Ansible的工作原理至关重要。Ansible基于SSH（Secure Shell）协议，无需在目标节点上安装任何代理，通过控制节点即可实现远程管理。它使用YAML格式的...
安装hadoop集群
09-03
### Hadoop集群安装与配置详解 #### 一、引言 随着互联网技术的快速发展和企业数据量的激增，高效处理大规模数据的需求日益迫切。Hadoop作为一种开源的大数据处理框架，因其优秀的分布式处理能力和可扩展性，成为...
docker一键安装hadoop集群
10-14
【Dockerfile详解】 Dockerfile 是一个文本文件，包含了构建 Docker 映像的指令序列。...通过 Docker 安装 Hadoop 集群，可以在不改变主机系统的情况下快速部署和测试，方便开发者和运维人员进行开发、测试和演示。
在linux环境安装hadoop集群
03-16
"在 Linux 环境安装 Hadoop 集群" 在 Linux 环境中安装 Hadoop 集群是大数据处理和分析的重要步骤。Hadoop 是 Apache 基金会开发的一款开源的分布式计算框架，能够处理大量数据。下面是安装 Hadoop 集群的详细步骤...
CentOS7使用Docker安装hadoop集群
weixin_43311978的博客
04-10 3550
先更新一下yum，确保yum是最新的 [hadoop@bogon ~]$ sudo yum update 安装docker [hadoop@bogon ~]$ sudo yum install -y docker 安装完成后，可以通过docker version查看 [root@bogon ~]# docker version Client: Version: 1.13.1 ...
hadoop安装
大龙的博客
03-03 494
hadoop思想 分而治之 并行计算 计算向数据移动 数据本地化读取 模块 common：支持hadoop其他模块的公共工具 hdsf：分布式存储，相比于其他分布式文件系统设计思想是为了做计算使用 MapReduce：分布式计算 yarn：资源管理 hadoop安装 准备工作 1、设置主机名 vi/etc/sysconfig/network NETWORKING=yes HOSTNAME=node01 2、设置本机的ip到主机名的映射关系 vi /etc/hosts 192.168.10...
hadoop安装配置
热门推荐
dragon_fire的专栏
05-21 1万+
hadoop安装配置（来自http://naojuan.com/review/20） 一、准备工作： 软件：VMware虚拟机软件，linux系统为：ubuntu-10.10-desktop-i386。 二、环境配置 （一）VMware安装略过 （二）linux安装：               为root账号创建密码 打开终端
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值