集群的配置&测试

1、创建三台虚拟机

主机名 node01、node02、node03
Ip 自己定
磁盘大小  自己定(建议至少50G)

2、Hadoop集群安装部署

1、	服务器主机名和IP配置(三台)
2、	修改每个主机的/etc/hosts文件,添加IP和主机名的对应关系(三台)
3、	管理节点到从节点配置无密码登录
4、	配置jdk  1.8(三台)
5、	关闭防火墙(三台)
6、	关闭selinux(三台)
vi   /etc/selinux/config
SELINUX=enforcing  改为  SELINUX=disabled
		重启系统

3、Hadoop安装部署

1、	软件包上传并解压
	tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz  -C ../servers/
2、	第二步查看hadoop支持的压缩方式以及本地库
a)	./hadoop checknative

在这里插入图片描述

b)	安装openssl
yum -y install openssl-devel
c)	安装完再次查看
./hadoop checknative

在这里插入图片描述

4、 修改配置文件

配置文件内的node01均为第一台虚拟机的主机名

a)	core-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小,实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>
b)	hdfs-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径,实际工作中,一般先确定磁盘的挂载目录,然后多个目录用,进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置,实际工作中,一般先确定磁盘的挂载目录,然后多个目录用,进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
c)	Hadoop-env.sh  (配置过jdk1.8的环境变量的不用改)

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141
d)	mapred-site.xml

i.	cp  mapred-site.xml.template    mapred-site.xml
ii.	修改

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

<configuration>
	<property>
<!--运行模式-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
	<!--JVM重用 -->
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>
e)	yarn-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
<!-- nodemanager 上的附属服务,只有配置成mapreduce_shuffle 才能运行-->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
f)	slaves 

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves(内容为主机名)

node01
node02
node03

5、 创建文件夹

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

6、安装包的分发

第一台机器执行以下命令
	cd /export/servers/
		
	scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
	scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

7、配置hadoop环境变量

a)	 创建文件/etc/profile.d/hadoop.sh 并编辑
export  HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export  PATH=$PATH:$HADOOP_HOME/bin

b)	source /etc/profile

8、 启动集群

a)	格式化集群
在第一个节点执行  hadoop  namenode   -format

在这里插入图片描述

b)	启动
i.	每个组件独立启动
1.	启动namenode   node01节点   ./hadoop-daemon.sh  start  namenode
2.	启动namenode	node01、02、03节点  ./hadoop-daemon.sh  start  datanode

3.	启动resourcemanager   node01节点  ./yarn-daemon.sh   start  resourcemanager
4.	启动nodemanager  node01、02、03节点    ./yarn-daemon.sh  start  nodemanager

ii.	单独启动
1.	单独启动HDFS  :  ./start-dfs.sh        关闭 ./stop-dfs.sh
2.	单独启动Yarn   :  ./start-yarn.sh       关闭 ./stop-yarn.sh
iii.	一键启动所有
启动:  ./start-all.sh      			 关闭:./stop-all.sh

9、浏览器查看启动页面

http://主节点ip:50070

在这里插入图片描述
http://主节点ip:8088

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值