集群的配置&测试

最新推荐文章于 2024-06-03 13:12:28 发布
最新推荐文章于 2024-06-03 13:12:28 发布
阅读量383 收藏 1
点赞数
文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49031153/article/details/109033419
版权

1、创建三台虚拟机

主机名 node01、node02、node03
Ip 自己定
磁盘大小  自己定（建议至少50G）

2、Hadoop集群安装部署

1、	服务器主机名和IP配置（三台）
2、	修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）
3、	管理节点到从节点配置无密码登录
4、	配置jdk  1.8（三台）
5、	关闭防火墙（三台）
6、	关闭selinux（三台）
vi   /etc/selinux/config
SELINUX=enforcing  改为  SELINUX=disabled
		重启系统

3、Hadoop安装部署

1、	软件包上传并解压
	tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz  -C ../servers/
2、	第二步查看hadoop支持的压缩方式以及本地库
a)	./hadoop checknative

在这里插入图片描述

b)	安装openssl
yum -y install openssl-devel
c)	安装完再次查看
./hadoop checknative

在这里插入图片描述

4、 修改配置文件

配置文件内的node01均为第一台虚拟机的主机名

a)	core-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

b)	hdfs-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

c)	Hadoop-env.sh  （配置过jdk1.8的环境变量的不用改）

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

d)	mapred-site.xml

i.	cp  mapred-site.xml.template    mapred-site.xml
ii.	修改

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

<configuration>
	<property>
<!--运行模式-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
	<!--JVM重用 -->
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

e)	yarn-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
<!-- nodemanager 上的附属服务，只有配置成mapreduce_shuffle 才能运行-->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

f)	slaves

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves（内容为主机名）

node01
node02
node03

5、 创建文件夹

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

6、安装包的分发

第一台机器执行以下命令
	cd /export/servers/
		
	scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
	scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

7、配置hadoop环境变量

a)	 创建文件/etc/profile.d/hadoop.sh 并编辑
export  HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export  PATH=$PATH:$HADOOP_HOME/bin

b)	source /etc/profile

8、 启动集群

a)	格式化集群
在第一个节点执行  hadoop  namenode   -format

在这里插入图片描述

b)	启动
i.	每个组件独立启动
1.	启动namenode   node01节点   ./hadoop-daemon.sh  start  namenode
2.	启动namenode	node01、02、03节点  ./hadoop-daemon.sh  start  datanode

3.	启动resourcemanager   node01节点  ./yarn-daemon.sh   start  resourcemanager
4.	启动nodemanager  node01、02、03节点    ./yarn-daemon.sh  start  nodemanager

ii.	单独启动
1.	单独启动HDFS  :  ./start-dfs.sh        关闭 ./stop-dfs.sh
2.	单独启动Yarn   :  ./start-yarn.sh       关闭 ./stop-yarn.sh
iii.	一键启动所有
启动：  ./start-all.sh      			 关闭：./stop-all.sh

9、浏览器查看启动页面

http://主节点ip:50070

在这里插入图片描述
http://主节点ip:8088

在这里插入图片描述

Lzh_1122
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Zookeeper集群部署以及故障测试
江晓龙的博客
06-26 1万+
1）当ZKServer-1节点启动后，会比较自身的ServerID，目前集群中没有其他节点，因此该节点就认为自己的ServerID是集群中最大的，给自己投一票，但是Leader的选举条件必须是票数超过集群中半数节点，例如三个节点必须至少有2个同意才可以，两个节点的集群中有2票也才可以选举为Leader，由于票数不够的问题，ZkServer-1节点就会处于Follower节点。4）剩下的其余节点在加入集群后，发现已经有Leader节点了，就不会再选举，而是成为Follower节点。
集群测试
tmatende的博客
11-06 249
<h1 id="集群测试">集群测试</h1> <pre><code>import java.io.File; import java.io.FileOutputStream; import java
mqtt：部署emqx集群并进行测试（mqttv3）
最新发布
陈鸿圳的专栏
06-03 725
228节点：core节点229节点：core节点230节点：replicant节点。
测试集群
weixin_33898233的博客
11-26 1136
测试集群的部署情况需要使用的以下几个命令 创建topic命令 kafka-topics.sh --create --zookeeper xx.xx.xx.xx:2181 --replication-factor x --partitions x --topic name 创建product命令 /bin/kafka-console-producer.sh...
Hadoop集群部署及简单测试
云来山更佳，云去山如画
04-23 4484
本文讲述Hadoop集群的部署及简单的测试
nginx集群配置-测试通过
08-08
【Nginx集群配置-测试通过】是一个关于构建高可用性、高性能的Web服务解决方案的实践案例。在本文中，我们将深入探讨如何设置一个通过测试的Nginx集群，它利用了轮询策略的session复制和共享，以实现高效且稳定的...
Weblogic10.3+集群配置手册.doc
09-18
WebLogic Server 10.3 集群配置是企业级应用程序部署的关键环节，它提供了高可用性、可扩展性和负载均衡等关键特性。以下是对WebLogic集群配置的详细说明： 1. **预备知识** - **Domain 和 Server**：在WebLogic...
mysql集群测试工具.docx
09-18
通过这些测试工具，我们可以有效地评估MySQL集群在不同条件下的表现，包括但不限于性能、稳定性、并发处理能力等。通过对比和优化，我们可以将MySQL的参数调整到最优状态，从而提升整个数据库系统的效率和可靠性。在...
tomcat集群配置
04-08
同时，使用诸如JMeter、VisualVM等工具进行性能测试和监控，可以更好地优化集群配置。 综上所述，Tomcat集群配置涉及到多个层面，包括负载均衡策略、会话管理、故障处理等。正确配置和维护Tomcat集群，能显著提升...
Redis集群测试
08-16
Redis集群是一种分布式数据库解决方案，它允许用户将数据分散存储在多台服务器上，以提高系统的可扩展性和可用性。...通过详尽的测试，可以发现潜在的问题，优化配置，从而提升Redis集群在生产环境中的表现。
测试集群代码
01-13
测试集群
Windows Server 2012 R2服务器集群测试
weixin_34246551的博客
12-23 259
接上一篇“Windows Server 2012 R2共享存储iSCSI目标服务器配置”，此章节主要是配置服务器集群节点，我这里只有2个节点Node1和Node2。登录Node1服务器，配置心跳网络，如下图，去掉“Internet协议版本6（TCP/IPv6）”勾选设置心跳网卡IP地址，并去掉“在DNS中注册此连接的地址”，具体如下所示切换到“WINS”选项卡，去掉“启用L...
服务器集群虚拟化实验,虚拟化测试集群服务器
weixin_36035900的博客
08-06 309
虚拟化测试集群服务器 内容精选换一换依照准备JDBC客户端开发环境中导入和修改样例后，并从集群Manager获取到keytab文件放置到样例工程的conf下(普通模式集群可忽略)，即impala-examples/conf。即可在开发环境中(例如Eclipse中)，右击“JDBCExample.java”，单击“Run as > Java Application”运行对应的数据仓库服务使用统...
集群安装完毕，该如何测试和使用集群-hadoop单机（伪分布）
mituan1234567的专栏
07-07 858
本帖最后由 pig2 于 2014-2-8 22:56 编辑http://www.aboutyun.com/thread-6777-1-1.html 集群安装完毕，该如何测试和使用集群： 运行hadoop首先进入hadoop所在目录，第一次执行要格式化文件系统bin/hadoop namenode –format  启动bin/start-all.sh  用jps命令查看进程，显示
Redis 集群模式部署与测试
qq_20029829的博客
09-06 301
前言   本文为拉勾高薪训练营作业，搭建三主三从redis集群模式，并在搭建完成后，添加一个master主节点和一个slave从节点 1 环境说明： 1.1 各个软件版本说明 （1）虚拟机：Vmware 15 （2）操作系统：Centos 7 （3）redis版本：redis-5.0.7 1.2 各个机器节点说明 redis节点 IP 端口 角色 master1 192.168.122.128 6379 主节点1 master2 192.168.122.129 6379 主节点2 m
Redis Cluster集群的搭建与测试
moneywenxue的博客
10-30 997
一、前言 redis最初使用主从模式作集群，但是这种模式master宕机后需要手动配置将slave转成master；后来为了高可用，提出了哨兵模式，该模式有哨兵角色监视master和slave，若master宕机，可以自动将slave转换成master，但哨兵模式也有不足：1.不能动态扩充；2.仍然不能支持并发量特别大的场景。所以redis3.x提出来了cluster集群模式。 二、redis-cluster设计 Redis-Cluster采用无中心结构，每个节点报存数据和集群状态，每个节点和其他节点
测试网站集群节点的页面访问是否正常
weixin_33831196的博客
03-13 229
场景之一： 基本架构： 网站是由多台Squid服务器做集群组成，客户端口访问网站的过程是： 客户端向Web站点发出请求，请求某一URL资源； 本地解析服务器域名的IP地址，由于DNS做了视图和对IP的轮循负载，会根据所在地域，获得一组，离自己比较近的Squid服务器地址； 如果Squid自己没有缓存该资源，会向后端的源服务器询问，并返回给客户端。 问题： 某一时...
验证服务器账号,服务端测试之集群验证（一）
weixin_31699893的博客
07-31 204
原标题：服务端测试之集群验证(一)在Saas化的架构下，测试首先需要思考的是如何能够去验证多个集群，这是不得不面对的一个问题。在单体的架构下，我们只需要端到端的测试后，即使上线我们也可以使用这样的策略方式来进行验证，从而保障产品的质量。Saas化的架构下，测试的复杂性相比单体架构而言更加复杂，因为你无法预知一个集群好的就可以推理出其他的集群也是正常。抛开技术的思维，我们就拿生活中的案例来说，我们总...
Weblogic10.3集群配置详解
"Weblogic10.3 集群配置手册" 在WebLogic Server中，集群是一种高可用性和可扩展性的解决方案，它允许你将多个服务器实例组织成一个逻辑单元，以便共享工作负载、实现故障转移和提高服务的可靠性。在本手册中，我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值