集群的配置&测试

最新推荐文章于 2024-06-03 13:12:28 发布
最新推荐文章于 2024-06-03 13:12:28 发布
阅读量383 收藏 1
点赞数
文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49031153/article/details/109033419
版权

1、创建三台虚拟机

主机名 node01、node02、node03
Ip 自己定
磁盘大小  自己定（建议至少50G）

2、Hadoop集群安装部署

1、	服务器主机名和IP配置（三台）
2、	修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）
3、	管理节点到从节点配置无密码登录
4、	配置jdk  1.8（三台）
5、	关闭防火墙（三台）
6、	关闭selinux（三台）
vi   /etc/selinux/config
SELINUX=enforcing  改为  SELINUX=disabled
		重启系统

3、Hadoop安装部署

1、	软件包上传并解压
	tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz  -C ../servers/
2、	第二步查看hadoop支持的压缩方式以及本地库
a)	./hadoop checknative

在这里插入图片描述

b)	安装openssl
yum -y install openssl-devel
c)	安装完再次查看
./hadoop checknative

在这里插入图片描述

4、 修改配置文件

配置文件内的node01均为第一台虚拟机的主机名

a)	core-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

b)	hdfs-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

c)	Hadoop-env.sh  （配置过jdk1.8的环境变量的不用改）

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

d)	mapred-site.xml

i.	cp  mapred-site.xml.template    mapred-site.xml
ii.	修改

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

<configuration>
	<property>
<!--运行模式-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
	<!--JVM重用 -->
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

e)	yarn-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
<!-- nodemanager 上的附属服务，只有配置成mapreduce_shuffle 才能运行-->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

f)	slaves

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves（内容为主机名）

node01
node02
node03

5、 创建文件夹

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

6、安装包的分发

第一台机器执行以下命令
	cd /export/servers/
		
	scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
	scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

7、配置hadoop环境变量

a)	 创建文件/etc/profile.d/hadoop.sh 并编辑
export  HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export  PATH=$PATH:$HADOOP_HOME/bin

b)	source /etc/profile

8、 启动集群

a)	格式化集群
在第一个节点执行  hadoop  namenode   -format

在这里插入图片描述

b)	启动
i.	每个组件独立启动
1.	启动namenode   node01节点   ./hadoop-daemon.sh  start  namenode
2.	启动namenode	node01、02、03节点  ./hadoop-daemon.sh  start  datanode

3.	启动resourcemanager   node01节点  ./yarn-daemon.sh   start  resourcemanager
4.	启动nodemanager  node01、02、03节点    ./yarn-daemon.sh  start  nodemanager

ii.	单独启动
1.	单独启动HDFS  :  ./start-dfs.sh        关闭 ./stop-dfs.sh
2.	单独启动Yarn   :  ./start-yarn.sh       关闭 ./stop-yarn.sh
iii.	一键启动所有
启动：  ./start-all.sh      			 关闭：./stop-all.sh

9、浏览器查看启动页面

http://主节点ip:50070

在这里插入图片描述
http://主节点ip:8088

在这里插入图片描述

Lzh_1122
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
|利用 Prometheus 监控测试服务器集群实践详解
weixin_46635091的博客
01-21 1027
本文为霍格沃兹测试学院优秀学员的学习和实践总结，想一起系统进阶的同学文末加群交流。 公司有几台测试服务器（由于测试服务器本来性能和线上机器硬件就不一样，所以让运维老师去掉了测试服务器报警），测试团队自己使用 Prometheus 监控几台测试服务器，当出现故障的时候，把报警数据直接发送到企业微信中。 Prometheus 特点介绍 Prometheus（普罗米修斯）是一套开源的监控 & 报警 & 时间序列数据库的组合，起始是由 SoundCloud 公司开发的。随着发展，越来越多公司.
Redis Cluster集群的搭建与测试
moneywenxue的博客
10-30 997
一、前言 redis最初使用主从模式作集群，但是这种模式master宕机后需要手动配置将slave转成master；后来为了高可用，提出了哨兵模式，该模式有哨兵角色监视master和slave，若master宕机，可以自动将slave转换成master，但哨兵模式也有不足：1.不能动态扩充；2.仍然不能支持并发量特别大的场景。所以redis3.x提出来了cluster集群模式。 二、redis-cluster设计 Redis-Cluster采用无中心结构，每个节点报存数据和集群状态，每个节点和其他节点
rabbitmq基础4——集群部署、基础功能测试
百慕卿君博客
12-21 2686
rabbitmq单机多节点集群部署、多机集群部署、集群基础功能测试
mqtt：部署emqx集群并进行测试（mqttv3）
最新发布
陈鸿圳的专栏
06-03 725
228节点：core节点229节点：core节点230节点：replicant节点。
Jmeter性能测试：高并发分布式性能测试_高并发性能测试工具
2401_84253132的博客
04-13 546
很快，但一群人才能走的更远。同样的方式修改jmeter\bin\jmeter.properties,添加代理机IP和端口（jmeter的默认端口是1099），多个代理机之间用英文“,”分开。在主控机启动jmeter，可以发现在“启动”\“远程启动”菜单中可以看到我们配置的主控机和代理机。点击“启动”\“远程启动所有”，不要点击工具栏上的三角形启动（这个只能执行当前机器上的线程数）。主控机的服务也需要启动，windows下的只需要运行jmeter-server.bat文件。此处IP为代理机本地的IP地址。
tomcat集群部署并发测试笔记
liruichuan的专栏
03-04 2210
这段时间项目中要整体改版，其中服务器架构从单机部署改为分布式集群部署（其实就是多了两台tomcat而已），其中遇到的坑很多，自己也是第一次尝试搭建没什么经验，一遍BD一遍自己尝试，现在终于初见眉目 ，压力测试也渐渐提升档次了，赶紧抽空记录一下： 其实我们的环境很简单，两台服务器部署4个tomcat节点，负载采用nginx进行负载均衡： 下面是简单的配置：192.168.1.11，12机器上分别...
Jenkins 集群并发构建配置详解
lIujunXHU的博客
12-20 829
安装方式：Manage Jenkins ->插件管理->可选插件->搜索：Build Agents plugin ->点击选中并执行下载安装（Install without restart）1、新增节点路径：Manage Jenkins ->Manage nodes and clouds->新建节点。注意：Jenkins连接Slave节点需要一段时间，不会立即更新连接状态，需要多等待下。
nginx集群配置-测试通过
08-08
【Nginx集群配置-测试通过】是一个关于构建高可用性、高性能的Web服务解决方案的实践案例。在本文中，我们将深入探讨如何设置一个通过测试的Nginx集群，它利用了轮询策略的session复制和共享，以实现高效且稳定的...
Weblogic10.3+集群配置手册.doc
09-18
WebLogic Server 10.3 集群配置是企业级应用程序部署的关键环节，它提供了高可用性、可扩展性和负载均衡等关键特性。以下是对WebLogic集群配置的详细说明： 1. **预备知识** - **Domain 和 Server**：在WebLogic...
mysql集群测试工具.docx
09-18
通过这些测试工具，我们可以有效地评估MySQL集群在不同条件下的表现，包括但不限于性能、稳定性、并发处理能力等。通过对比和优化，我们可以将MySQL的参数调整到最优状态，从而提升整个数据库系统的效率和可靠性。在...
tomcat集群配置
04-08
同时，使用诸如JMeter、VisualVM等工具进行性能测试和监控，可以更好地优化集群配置。 综上所述，Tomcat集群配置涉及到多个层面，包括负载均衡策略、会话管理、故障处理等。正确配置和维护Tomcat集群，能显著提升...
Redis集群测试
08-16
Redis集群是一种分布式数据库解决方案，它允许用户将数据分散存储在多台服务器上，以提高系统的可扩展性和可用性。...通过详尽的测试，可以发现潜在的问题，优化配置，从而提升Redis集群在生产环境中的表现。
Kafka集群部署与测试
m0_59839948的博客
05-28 596
1、下载、解压安装包： 将安装包上传到master节点中的/opt/software目录下，并将安装包解压到/opt/moduel，再命名为kafka 具体命令如下： tar -zxvf kafka-2.11-2.0.0.tgz -C /opt/module mv kafka-2.11-2.0.0.tgz kafka 2、修改配置文件 进入Kafka文件下的config目录，修改server.properties配置文件。 首先我在/opt目录下创建一个/data目录，存放kafka日志
Hadoop集群测试
qq_65274143的博客
11-10 1992
Hadoop集群测试
Kubernetes学习篇1_集群环境搭建测试
xiaosi的博客
05-14 797
目录 一、虚拟机环境准备 一、虚拟机环境准备 虚拟机需要开三台Linux 服务器，系统为CentOS 7.5以上，下面以配置master为例，配置完成克隆出node1、node2然后修改对应的网络ip、主机名即可。三台服务器主机名分别设置为master、node1、node2， # 此方式下安装kubernetes集群要求Centos版本要在7.5或之上 [root@kubertenes-master ~]# cat /etc/redhat-release CentOS Linux release 7.5
性能测试中应用集群机制有效性测试如何做？
shairvin的博客
06-15 145
性能测试，应用集群机制有效性
[实验]Hadoop集群安装与配置
m0_57883712的博客
04-29 808
8、SSH免密登录测试，在hadoop01节点中使用命令 ssh hadoop02，在hadoop02节点中使用命令 ssh hadoop03，在hadoop03节点中使用命令 ssh hadoop01，或直接在hadoop01节点中使用，效果如下。4、和JDK一样，我们安装完成后都需要配置环境变量，使用命令vi /etc/profile进入到该文件后，依旧在最后一行进行配置，参数如下（以下两行参数一定要把地址写对，如果你的地址是自己修改的，需要把第一行中的地址写为你修改的地址）修改完成后保存退出。
一文读懂运维虚拟化之K8S测试集群搭建
野熊佩骑的博客
03-06 580
一文读懂运维虚拟化之K8S测试集群搭建，适合小白学习及上班族日常工作参考。
服务器集群搭建以及性能测试
freedomai的专栏
06-23 4506
搭建环境介绍： PHP服务器环境配置： 编译PHP 1.enabale-fpm , with-mysql=mysqlnd   (编译成独立fpm进程,支持mysql,) 2.下载第3方的memcached扩展 编译进来 vim /usr/local/php/etc/php-fpm.conf 写入： pm = static#让php-fpm的子进程处于不被回收状
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值