Hadoop集群安装部署

最新推荐文章于 2024-08-20 14:32:56 发布
最新推荐文章于 2024-08-20 14:32:56 发布
阅读量1.7w 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian_1_2_3/article/details/109082875
版权

前期准备

 1. 创建三台虚拟机
 2. 服务器主机名和IP配置（三台）
 3. 修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）
 4. 管理节点到从节点配置无密码登录
 5. 配置jdk  1.8（三台）
 6. 关闭防火墙（三台）（永久关闭）
 7. 关闭selinux（三台）
 		vi   /etc/selinux/config
 		SELINUX=enforcing    -->    SELINUX=disabled
		重启系统

安装流程

 1. 传软件包到管理节点，在管理节点解压并配置
 2. 将修改完的解压包，远程拷贝到所有的从节点
 3. 启动软件

过程

  1. 软件包上传并解压

    a)	tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz  -C /export/servers/

  2. 查看hadoop支持的压缩方式以及本地库

    a)   cd /export/servers/hadoop-2.6.0-cdh5.14.0
	 bin/hadoop checknative

在这里插入图片描述

  	如果出现openssl为false，那么所有机器在线安装openssl即可

    b)	安装openssl
				yum -y install openssl-devel
				./hadoop checknative

在这里插入图片描述

  1. 修改配置文件

    ①修改 core-site.xml：

    	cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
	vim core-site.xml
		
在文件中加入以下内容：
	<configuration>
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://node01:8020</value>
		</property>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
		</property>
		<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
		<property>
			<name>io.file.buffer.size</name>
			<value>4096</value>
		</property>
	
		<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
		<property>
			<name>fs.trash.interval</name>
			<value>10080</value>
		</property>
	</configuration>

    ②修改hdfs-site.xml：

    	cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
	vim hdfs-site.xml
在文件中加入以下内容：
	<configuration>
		<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
		<!--   集群动态上下线 
		<property>
			<name>dfs.hosts</name>
			<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
		</property>
		
		<property>
			<name>dfs.hosts.exclude</name>
			<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
		</property>
		 -->
		 
		 <property>
				<name>dfs.namenode.secondary.http-address</name>
				<value>node01:50090</value>
		</property>
	
		<property>
			<name>dfs.namenode.http-address</name>
			<value>node01:50070</value>
		</property>
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
		</property>
		<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
		</property>
		
		<property>
			<name>dfs.namenode.edits.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
		</property>
		<property>
			<name>dfs.namenode.checkpoint.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
		</property>
		<property>
			<name>dfs.namenode.checkpoint.edits.dir</name>
			<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
		</property>
		<property>
			<name>dfs.replication</name>
			<value>2</value>
		</property>
		<property>
			<name>dfs.permissions</name>
			<value>false</value>
		</property>
		<property>
			<name>dfs.blocksize</name>
			<value>134217728</value>
		</property>
	</configuration>

    ③修改Hadoop-env.sh：（不用改）
    ④修改mapred-site.xml：

    	cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
	vim mapred-site.xml
	
	i.	cp  mapred-site.xml.template    mapred-site.xml
	ii.	修改

在文件中加入以下内容：
	<configuration>
		<property>
		<!--运行模式-->
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
		</property>
	
		<property>
		<!--JVM重用 -->
			<name>mapreduce.job.ubertask.enable</name>
			<value>true</value>
		</property>
		
		<property>
			<name>mapreduce.jobhistory.address</name>
			<value>node01:10020</value>
		</property>
	
		<property>
			<name>mapreduce.jobhistory.webapp.address</name>
			<value>node01:19888</value>
		</property>
	</configuration>

    ⑤修改yarn-site.xml：

    	cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
	vim yarn-site.xml
	
在文件中加入以下内容：
	<configuration>
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>node01</value>
		</property>
		<property>
		<!-- nodemanager 上的附属服务，只有配置成mapreduce_shuffle 才能运行-->
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
	</configuration>

    ⑥修改slaves：

    	cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
	vim slaves
	
在文件中加入以下内容：
	node01
	node02
	node03

  2. 创建文件存放目录

    	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
	mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

  3. 安装包的分发

    	scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
	scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

  4. 配置hadoop环境变量
    a) 创建文件/etc/profile.d/hadoop.sh 并编辑

    编辑内容：
export  HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export  PATH=$PATH:$HADOOP_HOME/bin

    b) 刷新文件：source /etc/profile

  5. 格式化集群

    在第一个节点执行：  hadoop namenode -format

  6. 启动集群

    进入/export/servers/hadoop-2.6.0-cdh5.14.0/sbin目录下：

方式一：每个组件独立启动：
		1.	启动namenode  node01节点: 
				 ./hadoop-daemon.sh  start  namenode
		2.	启动datanode  node01、02、03节点: 
				 ./hadoop-daemon.sh  start  datanode
		3.	启动resourcemanager  node01节点:
				 ./yarn-daemon.sh  start  resourcemanager
		4.	启动nodemanager  node01、02、03节点:
				 ./yarn-daemon.sh  start  nodemanager
				 
方式二：单独启动：
		1.	单独启动HDFS :
				 ./start-dfs.sh
			关闭HDFS :
				 ./stop-dfs.sh
		2.	单独启动Yarn:
				 ./start-yarn.sh
			关闭Yarn:
				 ./stop-yarn.sh
				 
方式三：	一键启动所有
		启动：	./start-all.sh
		关闭：	./stop-all.sh

  7. 浏览器查看启动页面
    http://主节点ip:50070
    在这里插入图片描述
    http://主节点ip:8088
    在这里插入图片描述

㎝㎜
关注
Hadoop 安装部署
qq_48802540的博客
03-21 4279
官网下载软件： Ubuntu : https://releases.ubuntu.com/ jdk ： https://www.oracle.com/java/technologies/downloads/ Hadoop ： https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器，解压 一 1. 关闭防火墙 sudo ufw disable 查看防火墙状态，状态为“不活动”，说明防火墙已经关闭 sudo ufw stat
Hadoop集群安装详细步骤|Hadoop安装配置
yymmiinngg的专栏
07-06 310
Hadoop集群安装 　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。　　Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。　　准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6...
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 4万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop笔记——Hadoop集群安装与部署
Bessenn的博客
06-05 775
一、Hadoop安装 Apache版本和CDH版本 二、集群环境准备 三、Hadoop的三种运行模式 （一）本地运行模式 （二）伪分布式运行模式 （三）完全分布式运行模式
hadoop集群安装部署
woshiermingerming的博客
08-10 1337
1、准备两台虚拟机，一台做master （主人）另一台做slave（奴隶）；新建用户zkpk 2、两台虚拟机配置时钟同步               crontab -e               0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org              再运行/usr/sbin/ntpdate cn.pool.ntp.org（同步
2_2 hadoop集群安装部署.pdf
07-16
Hadoop集群安装部署的知识点总结如下： 1. Hadoop集群安装部署的目标： - 掌握Hadoop的集群安装配置方法； - 掌握SSH配置方法； - 掌握Hadoop集群服务启动与停止； - 会使用Hadoop集群运行简单的MapReduce计算...
Hadoop——实验三：Hadoop集群安装部署
maochaofei的博客
06-14 2829
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例 一. 实验目的   掌握Hadoop集群集群安装部署技术。 二. 实验内容   参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluste
hadoop集群安装
12-07
hadoop的分布式安装，三台服务器实现为例，分别是master
Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc
02-26
首先，我们来看任务1——Hadoop集群的部署。这一步至关重要，因为它为整个大数据处理系统提供了基础架构。在虚拟机中安装Ubuntu Kylin 16.04.4是常见的选择，因为这是一个稳定且支持Hadoop的Linux发行版。安装完成后...
利用ansible 自动 安装Hadoop 集群
05-10
总结来说，通过Ansible自动化安装Hadoop集群，可以极大地简化部署流程，减少手动操作出错的可能性，同时提高运维效率。了解并熟练运用Ansible的这一特性对于任何希望管理大规模Hadoop集群的IT专业人员都是极其重要的...
Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）
最新发布
zcs_978176963的博客
08-20 845
本文涵盖了从设置主机名、配置SSH免密登录、安装Java环境到Hadoop配置与启动的详细步骤。通过这些步骤，你可以成功搭建一个Hadoop集群，为大数据学习和实际应用打下坚实的基础。下一步，你可以尝试配置高可用性或对集群进行性能优化。
Hadoop安装部署
weixin_45616509的博客
05-04 208
Hadoop全分布式搭建(第一篇文章) 1）准备3台客户机（关闭防火墙、静态ip、主机名称、配置ssh,hosts配置） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）群起并测试集群 !!!自己准备三台linux的虚拟机!!! #关闭防火墙 [root@c7hadp1 ~] service iptables stop #centos6关闭防火墙命令 [root@c7hadp1 ~] systemctl stop firewalld.service #
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值