Hadoop集群安装部署教学

本文详细介绍了如何在Linux系统上安装和部署Hadoop集群,包括软件包上传解压、配置文件修改、环境变量设置、集群启动及验证等步骤,是大数据初学者的实用指南。
摘要由CSDN通过智能技术生成

前提:

创建三台虚拟机
主机名 node01、node02、node03
Ip 自己定
磁盘大小50G

安装虚拟机
安装linux系统

Hadoop集群安装部署

1、	服务器主机名和IP配置(三台)
2、	修改每个主机的/etc/hosts文件,添加IP和主机名的对应关系(三台)
3、	管理节点到从节点配置无密码登录
4、	配置jdk  1.8(三台)
5、	关闭防火墙(三台)
6、	关闭selinux(三台)
vi   /etc/selinux/config
SELINUX=enforcing    改为    SELINUX=disabled
重启系统

安装流程

1、	上传软件包到管理节点,在管理节点解压并配置
2、	将修改完的解压包,远程拷贝到所有的从节点
3、	启动软件

Hadoop安装部署

1、 软件包上传并解压

a)	tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz  -C ../servers/

2、 第二步查看hadoop支持的压缩方式以及本地库

a)	./hadoop checknative

在这里插入图片描述

b)	   安装  openssl
             yum -y install openssl-devel
			./hadoop checknative

在这里插入图片描述

3、 修改配置文件

进入hadoop目录下

    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

a)vim core-site.xml

<configuration>
	<property>
		<name>fs.default
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值