Hadoop 集群搭建

最新推荐文章于 2023-03-04 14:33:04 发布
最新推荐文章于 2023-03-04 14:33:04 发布
阅读量279 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lianmutian/article/details/51785313
版权 
// 在周末的时候自己写的这个Hadoop的集群文档还希望对大家有所帮助


vmware workstation 克隆后网卡eth0不能正常工作 
解决方法如下
修改/etc/udev/rules.d/70-persistent-net.rules
1. 将eth0这行注释掉或者删除，这里记载的还是克隆系统时的MAC地址，
但是新启动的系统MAC已经更改， 
2. 将NAME="eth1" 改为 “eth0”，
ATTR 标记的MAC地址，这个是虚拟机为这个虚拟网卡分配的MAC，
用上面的MAC替换掉 /etc/sysconfig/network-scripts/ifcfg-eth0中的MAC
然后重启即可
还有一个办法，不用eth0,直接用eth1等，把/etc/sysconfig/network-scripts/ifcfg-eth0复制成/etc/sysconfig/network-scripts/ifcfg-eth1
===========================================================================================




//  严格按照以下步骤来完成

集群规划：
	主机名		IP				安装的软件					运行的进程
	cluster1	192.168.1.101	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	cluster2	192.168.1.102	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	cluster3	192.168.1.103	jdk、hadoop					ResourceManager(JobTracker)
	cluster4	192.168.1.104	jdk、hadoop					ResourceManager
	cluster5	192.168.1.105	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	cluster6	192.168.1.106	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	cluster7	192.168.1.107	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	

安装步骤：
   在这之前一定要安装JDK等环境
	1.安装配置zooekeeper集群（在cluster5上）
		1.1解压
			tar -zxvf zookeeper-3.4.5.tar.gz -C /cluster/
		1.2修改配置
			cd /cluster/zookeeper-3.4.5/conf/
			cp zoo_sample.cfg zoo.cfg
			vim zoo.cfg
			修改：dataDir=/cluster/zookeeper-3.4.5/tmp
			在最后添加：
			server.1=cluster5:2888:3888
			server.2=cluster6:2888:3888
			server.3=cluster7:2888:3888
			保存退出
			然后创建一个tmp文件夹
			mkdir /cluster/zookeeper-3.4.5/tmp
			再创建一个空文件
			touch /cluster/zookeeper-3.4.5/tmp/myid
			最后向该文件写入ID
			echo 1 > /cluster/zookeeper-3.4.5/tmp/myid
		1.3将配置好的zookeeper拷贝到其他节点(首先分别在cluster6、cluster7根目录下创建一个cluster目录：mkdir /cluster)
			scp -r /cluster/zookeeper-3.4.5/ cluster6:/cluster/
			scp -r /cluster/zookeeper-3.4.5/ cluster7:/cluster/
			
			注意：修改cluster6、cluster7对应/cluster/zookeeper-3.4.5/tmp/myid内容
			cluster6：
				echo 2 > /cluster/zookeeper-3.4.5/tmp/myid
			cluster7：
				echo 3 > /cluster/zookeeper-3.4.5/tmp/myid
	
	2.安装配置hadoop集群（在cluster1上操作）
		2.1解压
			tar -zxvf hadoop-2.6.0.tar.gz -C /cluster/
		2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
			#将hadoop添加到环境变量中
			vim /etc/profile
			export JAVA_HOME=/usr/java/jdk1.7.0_55
			export HADOOP_HOME=/cluster/hadoop-2.6.0
			export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
			
			#hadoop2.x的配置文件全部在$HADOOP_HOME/etc/hadoop下
			cd /cluster/hadoop-2.6.0/etc/hadoop
			
			2.2.1修改hadoo-env.sh(如果配置了JAVA_HOME可不用)
				export JAVA_HOME=/usr/java/jdk1.7.0_55
				
			2.2.2修改core-site.xml
				<configuration>
					<!-- 指定hdfs的nameservice为mycluster -->
					<property>
						<name>fs.defaultFS</name>
						<value>hdfs://mycluster</value>
					</property>
					<!-- 指定hadoop临时目录 -->
					<property>
						<name>hadoop.tmp.dir</name>
						<value>/cluster/hadoop-2.6.0/tmp</value>
					</property>
					<!-- 指定zookeeper地址 -->
					<property>
						<name>ha.zookeeper.quorum</name>
						<value>cluster5:2181,cluster6:2181,cluster7:2181</value>
					</property>
				</configuration>
				
			2.2.3修改hdfs-site.xml
				<configuration>
					<!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
					<property>
						<name>dfs.nameservices</name>
						<value>mycluster</value>
					</property>
					<!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->
					<property>
						<name>dfs.ha.namenodes.mycluster</name>
						<value>nn1,nn2</value>
					</property>
					<!-- nn1的RPC通信地址 -->
					<property>
						<name>dfs.namenode.rpc-address.mycluster.nn1</name>
						<value>cluster1:9000</value>
					</property>
					<!-- nn1的http通信地址 -->
					<property>
						<name>dfs.namenode.http-address.mycluster.nn1</name>
						<value>cluster1:50070</value>
					</property>
					<!-- nn2的RPC通信地址 -->
					<property>
						<name>dfs.namenode.rpc-address.mycluster.nn2</name>
						<value>cluster2:9000</value>
					</property>
					<!-- nn2的http通信地址 -->
					<property>
						<name>dfs.namenode.http-address.mycluster.nn2</name>
						<value>cluster2:50070</value>
					</property>
					<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
					<property>
						<name>dfs.namenode.shared.edits.dir</name>
						<value>qjournal://cluster5:8485;cluster6:8485;cluster7:8485/mycluster</value>
					</property>
					<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
					<property>
						<name>dfs.journalnode.edits.dir</name>
						<value>/cluster/hadoop-2.6.0/journal</value>
					</property>
					<!-- 开启NameNode失败自动切换 -->
					<property>
						<name>dfs.ha.automatic-failover.enabled</name>
						<value>true</value>
					</property>
					<!-- 配置失败自动切换实现方式 -->
					<property>
						<name>dfs.client.failover.proxy.provider.mycluster</name>
						<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
					</property>
					<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
					<property>
						<name>dfs.ha.fencing.methods</name>
						<value>
							sshfence
							shell(/bin/true)
						</value>
					</property>
					<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
					<property>
						<name>dfs.ha.fencing.ssh.private-key-files</name>
						<value>/home/hadoop/.ssh/id_rsa</value>
					</property>
					<!-- 配置sshfence隔离机制超时时间 -->
					<property>
						<name>dfs.ha.fencing.ssh.connect-timeout</name>
						<value>30000</value>
					</property>
				</configuration>
			
			2.2.4修改mapred-site.xml
				<configuration>
					<!-- 指定mr框架为yarn方式 -->
					<property>
						<name>mapreduce.framework.name</name>
						<value>yarn</value>
					</property>
				</configuration>	
			
			2.2.5修改yarn-site.xml
				<configuration>
						<!-- 开启RM高可靠 -->
						<property>
						   <name>yarn.resourcemanager.ha.enabled</name>
						   <value>true</value>
						</property>
						
						<property>
                    <name>yarn.resourcemanager.recovery.enabled</name>
                    <value>true</value>
                  </property>
                  
                  <property>
                    <name>yarn.resourcemanager.store.class</name>
                    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
                  </property>
						<!-- 指定RM的cluster id -->
						<property>
						   <name>yarn.resourcemanager.cluster-id</name>
						   <value>yrc</value>
						</property>
						<!-- 指定RM的名字 -->
						<property>
						   <name>yarn.resourcemanager.ha.rm-ids</name>
						   <value>rm1,rm2</value>
						</property>
						<!-- 分别指定RM的地址 -->
						<property>
						   <name>yarn.resourcemanager.hostname.rm1</name>
						   <value>cluster3</value>
						</property>
						<property>
						   <name>yarn.resourcemanager.hostname.rm2</name>
						   <value>cluster4</value>
						</property>
						<!-- 指定zk集群地址 -->
						<property>
						   <name>yarn.resourcemanager.zk-address</name>
						   <value>cluster5:2181,cluster6:2181,cluster7:2181</value>
						</property>
						<property>
						   <name>yarn.nodemanager.aux-services</name>
						   <value>mapreduce_shuffle</value>
						</property>
				</configuration>
			
				
			2.2.6修改slaves(slaves是指定子节点的位置，因为要在cluster1上启动HDFS、在cluster3启动yarn，所以cluster1上的slaves文件指定的是datanode的位置，cluster3上的slaves文件指定的是nodemanager的位置)
				cluster5
				cluster6
				cluster7

			2.2.7配置免密码登陆
				#首先要配置cluster1到cluster2、cluster3、cluster4、cluster5、cluster6、cluster7的免密码登陆
				#在cluster1上生产一对钥匙
				ssh-keygen -t rsa
				#将公钥拷贝到其他节点，包括自己
				ssh-coyp-id cluster1
				ssh-coyp-id cluster2
				ssh-coyp-id cluster3
				ssh-coyp-id cluster4
				ssh-coyp-id cluster5
				ssh-coyp-id cluster6
				ssh-coyp-id cluster7
				#配置cluster3到cluster4、cluster5、cluster6、cluster7的免密码登陆
				#在cluster3上生产一对钥匙
				ssh-keygen -t rsa
				#将公钥拷贝到其他节点
				ssh-coyp-id cluster4
				ssh-coyp-id cluster5
				ssh-coyp-id cluster6
				ssh-coyp-id cluster7
				#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置cluster2到cluster1的免登陆
				在cluster2上生产一对钥匙
				ssh-keygen -t rsa
				ssh-coyp-id -i cluster1				
		
		2.4将配置好的hadoop拷贝到其他节点
			scp -r /cluster/ cluster2:/
			scp -r /cluster/ cluster3:/
			scp -r /cluster/hadoop-2.6.0/ root@cluster4:/cluster/
			scp -r /cluster/hadoop-2.6.0/ root@cluster5:/cluster/
			scp -r /cluster/hadoop-2.6.0/ root@cluster6:/cluster/
			scp -r /cluster/hadoop-2.6.0/ root@cluster7:/cluster/
		###注意：严格按照下面的步骤
		2.5启动zookeeper集群（分别在cluster5、cluster6、tcast07上启动zk）
			cd /cluster/zookeeper-3.4.5/bin/
			./zkServer.sh start
			#查看状态：一个leader，两个follower
			./zkServer.sh status
			
		(可省略)2.6启动journalnode（分别在在cluster5、cluster6、tcast07上执行）
			cd /cluster/hadoop-2.6.0
			sbin/hadoop-daemon.sh start journalnode
			#运行jps命令检验，cluster5、cluster6、cluster7上多了JournalNode进程
		
		2.7格式化HDFS
			#在cluster1上执行命令:
			hdfs namenode -format
			#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/cluster/hadoop-2.6.0/tmp，然后将/cluster/hadoop-2.6.0/tmp拷贝到cluster2的/cluster/hadoop-2.6.0/下。
			scp -r tmp/ cluster2:/cluster/hadoop-2.6.0/
		
		2.8格式化ZK(在cluster1上执行即可)
			hdfs zkfc -formatZK
		
		2.9启动HDFS(在cluster1上执行)
			sbin/start-dfs.sh

		
	验证HDFS HA
		首先向hdfs上传一个文件
		hadoop fs -put /etc/profile /profile
		hadoop fs -ls /
		然后再kill掉active的NameNode
		kill -9 <pid of NN>
		通过浏览器访问：http://192.168.1.102:50070
		NameNode 'cluster2:9000' (active)
		这个时候cluster2上的NameNode变成了active
		在执行命令：
		hadoop fs -ls /
		-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
		手动启动那个挂掉的NameNode
		sbin/hadoop-daemon.sh start namenode
		通过浏览器访问：http://192.168.1.101:50070
		NameNode 'cluster1:9000' (standby)
	
	2.10启动YARN(#####注意#####：是在cluster3上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
			sbin/start-yarn.sh
			在cluster4上执行yarn-daemon.sh start resourcemanager
			
		   测试 浏览器访问
		   http://cluster3:8088/cluster
		   然后在cluster3上  kill -9 1964    ResourceManager
		   
		   测试 浏览器访问
		   http://cluster4:8088/cluster
		   
		   到些说明 ResourceManager的故障自动恢复已经配置完成！

		
	到此，hadoop-2.6.0配置完毕，可以浏览器访问:
		http://192.168.1.101:50070
		NameNode 'cluster1:9000' (active)
		http://192.168.1.102:50070
		NameNode 'cluster2:9000' (standby)
		
		验证YARN：
		运行一下hadoop提供的demo中的WordCount程序：
		hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /profile /out

99_99
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop 8088端口无法访问
u013761049的专栏
08-17 1万+
hadoop集群正常启动，日志无任何错误。而8088端口不能访问。则需要为yarn-site.xml文件添加一下属性。并重新执行start-yarn.sh。 修改配置文件---yarn-site.xml，将下列属性添加 &lt;property&gt; &lt;name&gt;yarn.resourcemanager.address&lt;/name&gt; &lt;value&gt;192.1...
解决hadoop启动时的dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.错误
拂晓的专栏
08-19 3万+
今天在搭建玩Hadoop的环境，通过start-all.sh启动完毕后，发现只能打开localhost:8042的管理界面，而当进入localhost:50070对应的HDFS的web管理中心时，浏览器中一直提示无法连接。于是又仔细去翻看了下启动时的信息，发现提示了如下错误： Incorrect configuration: namenode address dfs.namenode.servi
hadoop 无法查看job信息 8088无法访问
架构师思考实践
09-12 1万+
需要配置一些8088 The http address of the RM web application. yarn.resourcemanager.webapp.address ${yarn.resourcemanager.hostname}:8088
hadoop3.x系列完全分布式集群部署（集群各节点设置与端口号的设置）
m0_58258383的博客
07-12 1798
hadoop3.x系列完全分布式集群部署（集群各节点设置与端口号的设置）
hadoop http address绑定内网地址
云计算?
11-16 618
hadoop默认配置里http address接口domain段均为0.0.0.0，表示可通过任一网卡访问http接口，对于双网卡服务器(一个内网，一个外网)，意味着公网用户可以随意访问hadoop系统开放的web资源，存在极大的安全隐患。 我们可以修改配置将domain段替换成内网IP，这对于dfs.http.address、mapred.job.tracker.http.address没什么...
Hadoop集群搭建
weixin_43618754的博客
03-04 1314
hadoop集群搭建
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop集群搭建（超级超级详细）
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
hadoop集群搭建
01-07
hadoop集群搭建是学习大数据的第一步,开始会觉得有些麻烦,玩的时间长了回来看看也就那么回事 虚拟机安装centos7 https://www.osyunwei.com/archives/7829.html 步骤2设置IP地址、网关DNS不用执行 当前安装系统可作为...
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
Hadoop：namenode访问端口2.x默认50070与3.x默认9870
好刹那的专栏
01-10 8602
Hadoop2.x的namenode界面访问端口默认是：50070 Hadoop3.x的namenode界面访问端口默认是：9870 通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改： cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...
Pygments-1.2-py2.6.egg
最新发布
06-19
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
大数据可视化大屏页面-广西矿产资源大数据监管平台+源代码+演示地址
06-19
1、资源内容地址： https://blog.csdn.net/2301_78627004/article/details/136655536 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
大数据可视化大屏页面-双数智慧公卫-传染病督导平台+源代码+演示地址
06-19
1、资源内容地址： https://blog.csdn.net/2301_78627004/article/details/136655536 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
小程序版python语言pytorch框架训练识别非机动车辆-不含数据集图片-含逐行注释和说明文档.zip
06-19
本代码是基于python pytorch环境安装的。 下载本代码后，有个环境安装的requirement.txt文本 如果有环境安装不会的，可自行网上搜索如何安装python和pytorch,这些环境安装都是有很多教程的，简单的 环境需要自行安装,推荐安装anaconda然后再里面推荐安装python3.7或3.8的版本，pytorch推荐安装1.7.1或1.8.1版本 首先是代码的整体介绍 总共是3个py文件，十分的简便 且代码里面的每一行都是含有中文注释的,小白也能看懂代码 然后是关于数据集的介绍。 本代码是不含数据集图片的，下载本代码后需要自行搜集图片放到对应的文件夹下即可 在数据集文件夹下是我们的各个类别,这个类别不是固定的，可自行创建文件夹增加分类数据集 需要我们往每个文件夹下搜集来图片放到对应文件夹下，每个对应的文件夹里面也有一张提示图，提示图片放的位置 然后我们需要将搜集来的图片，直接放到对应的文件夹下，就可以对代码进行训练了。 运行01数据集文本生成制作.py,是将数据集文件夹下的图片路径和对应的标签生成txt格式,划分了训练集和验证集 运行02深度学习模型训练.py,

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值