模拟分布式集群调试

最新推荐文章于 2022-12-26 20:06:00 发布
最新推荐文章于 2022-12-26 20:06:00 发布
阅读量761 收藏
点赞数 1
分类专栏： Hadoop实战 文章标签： 分布式 集群 调试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian_qing_lei/article/details/77203403
版权

    集群环境：namenode s100

                       2namenode s104

                        datanode  s101、s102、s105

   在完全分布式集群，为了就跟深入的剖析MapReduce计算模型的工作机制，通过一个wordcount案例来进行分布式调试：

观察每个主机运行的进程ID，线程，运行时的类，Hashcode及其运行的方法：

1、WordCountMapper



package hadoop.mr;

import com.it18zhang.debugtool.RTUtil;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * WordCountMapper
 */
public class WordCountMapper extends Mapper<LongWritable, Text, Text,IntWritable> {
	
	public WordCountMapper(){
		RTUtil.sendInfo("s104",8888,this,"new()" , "");
	}

	protected void setup(Context context) throws IOException, InterruptedException {
		RTUtil.sendInfo("s104", 8888, this, "setup()", "");

	}

	protected void cleanup(Context context) throws IOException, InterruptedException {
		RTUtil.sendInfo("s104", 8888, this, "cleanup()", "");
	}

	/**
	 * 每一行
	 * @param key
     * @param value
	 * @param context
	 * @throws IOException
	 * @throws InterruptedException
	 */
	protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
		RTUtil.sendInfo("s104", 8888, this, "map()", "value = " + value.toString());
		String line = value.toString();
		String[] arr = line.split(" ");

		Text keyOut = new Text();
		IntWritable valueOut = new IntWritable(1);
		for(String word : arr){
			keyOut.set(word);
			context.write(keyOut,valueOut);
		}
	}
}

2、WordCountReducer

package hadoop.mr;

import com.it18zhang.debugtool.RTUtil;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * WordCountReducer
 */
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

	public WordCountReducer(){
		RTUtil.sendInfo("s104", 8888, this, "new()", "");

	}

	protected void setup(Context context) throws IOException, InterruptedException {
		RTUtil.sendInfo("s104", 8888, this, "setup()", "");
	}

	protected void cleanup(Context context) throws IOException, InterruptedException {
		RTUtil.sendInfo("s104", 8888, this, "cleanup()", "");
	}

	protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		RTUtil.sendInfo("s104", 8888, this, "reduce()", "key = " + key.toString());
		int count = 0 ;
		for(IntWritable iw : values){
			count = count + iw.get() ;
		}
		context.write(key,new IntWritable(count));
	}
}

3、App

package hadoop.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.MRJobConfig;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 */
public class App {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();

		FileSystem fs = FileSystem.get(conf);
		if(fs.exists(new Path(args[1]))){
			fs.delete(new Path(args[1]),true);
		}

		Job job = Job.getInstance(conf);
//		job.getConfiguration().setLong("fs.local.block.size", 1 * 1024 * 1024);

		//设置最大切片和最小切片
//		job.getConfiguration().set("mapreduce.input.fileinputformat.split.minsize","14");
//		job.getConfiguration().set("mapreduce.input.fileinputformat.split.maxsize","14");

//		FileInputFormat.setMinInputSplitSize(job,7);
//		FileInputFormat.setMaxInputSplitSize(job,7);

		job.setJobName("WordCount");
		job.setJarByClass(App.class);

		job.setMapperClass(WordCountMapper.class);
		job.setReducerClass(WordCountReducer.class);

		//添加输入路径
		FileInputFormat.addInputPath(job,new Path(args[0]));
		//设置输出路径
		FileOutputFormat.setOutputPath(job,new Path(args[1]));

		//设置mapreduce输出
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		//设置合成类
		job.setCombinerClass(WordCountReducer.class);

		job.setNumReduceTasks(2);

		//手动设置map的个数
//		job.getConfiguration().set(MRJobConfig.NUM_MAPS,"3");

		job.waitForCompletion(true);
	}
}

4、HDFS写入3个文件

1.txt        hello world  tom1

2.txt        hello world  tom2

               hello world  tom3

3.txt         hello world  tom4

                hello world  tom5

                hello world  tom6

5、在s104主机进行监听

  输入命令 nc -lk 8888

6、调试结果

观察每个主机运行的进程ID，线程，运行时的类，Hashcode及其运行的方法：

=======3.txt  1.map===========
192.168.231.102:3631:main:WordCountMapper@1475192960:new()()
192.168.231.102:3631:main:WordCountMapper@1475192960:setup()()
192.168.231.102:3631:main:WordCountMapper@1475192960:map()(value = how world tom4)
192.168.231.102:3631:main:WordCountMapper@1475192960:map()(value = how world tom5)
192.168.231.102:3631:main:WordCountMapper@1475192960:map()(value = how world tom6)
192.168.231.102:3631:main:WordCountMapper@1475192960:cleanup()()

=======3.txt  1.combine===========
192.168.231.102:3631:main:WordCountReducer@1788380050:new()()
192.168.231.102:3631:main:WordCountReducer@1788380050:setup()()
192.168.231.102:3631:main:WordCountReducer@1788380050:reduce()(key = tom5)
192.168.231.102:3631:main:WordCountReducer@1788380050:cleanup()()

=======3.txt  2.combine===========
192.168.231.102:3631:main:WordCountReducer@307605969:new()()
192.168.231.102:3631:main:WordCountReducer@307605969:setup()()
192.168.231.102:3631:main:WordCountReducer@307605969:reduce()(key = how)
192.168.231.102:3631:main:WordCountReducer@307605969:reduce()(key = tom4)
192.168.231.102:3631:main:WordCountReducer@307605969:reduce()(key = tom6)
192.168.231.102:3631:main:WordCountReducer@307605969:reduce()(key = world)
192.168.231.102:3631:main:WordCountReducer@307605969:cleanup()()

========1.txt map===========
192.168.231.103:3498:main:WordCountMapper@1475192960:new()()
192.168.231.103:3498:main:WordCountMapper@1475192960:setup()()
192.168.231.103:3498:main:WordCountMapper@1475192960:map()(value = hello world tom1)
192.168.231.103:3498:main:WordCountMapper@1475192960:cleanup()()

========1.txt 1.combine
192.168.231.103:3498:main:WordCountReducer@1788380050:new()()
192.168.231.103:3498:main:WordCountReducer@1788380050:setup()()
192.168.231.103:3498:main:WordCountReducer@1788380050:reduce()(key = tom1)
192.168.231.103:3498:main:WordCountReducer@1788380050:cleanup()()

========1.txt 2.combine
192.168.231.103:3498:main:WordCountReducer@307605969:new()()
192.168.231.103:3498:main:WordCountReducer@307605969:setup()()
192.168.231.103:3498:main:WordCountReducer@307605969:reduce()(key = hello)
192.168.231.103:3498:main:WordCountReducer@307605969:reduce()(key = world)
192.168.231.103:3498:main:WordCountReducer@307605969:cleanup()()

========2.txt map
192.168.231.103:3499:main:WordCountMapper@1475192960:new()()
192.168.231.103:3499:main:WordCountMapper@1475192960:setup()()
192.168.231.103:3499:main:WordCountMapper@1475192960:map()(value = hello world tom2)
192.168.231.103:3499:main:WordCountMapper@1475192960:map()(value = hello world tom3)
192.168.231.103:3499:main:WordCountMapper@1475192960:cleanup()()
========2.txt 1.combiner
192.168.231.103:3499:main:WordCountReducer@1788380050:new()()
192.168.231.103:3499:main:WordCountReducer@1788380050:setup()()
192.168.231.103:3499:main:WordCountReducer@1788380050:reduce()(key = tom3)
192.168.231.103:3499:main:WordCountReducer@1788380050:cleanup()()
========2.txt 2.combiner
192.168.231.103:3499:main:WordCountReducer@307605969:new()()
192.168.231.103:3499:main:WordCountReducer@307605969:setup()()
192.168.231.103:3499:main:WordCountReducer@307605969:reduce()(key = hello)
192.168.231.103:3499:main:WordCountReducer@307605969:reduce()(key = tom2)
192.168.231.103:3499:main:WordCountReducer@307605969:reduce()(key = world)
192.168.231.103:3499:main:WordCountReducer@307605969:cleanup()()

#################  reduce           ##################
=========1.reduce
192.168.231.102:3692:main:WordCountReducer@95685867:new()()
192.168.231.102:3692:main:WordCountReducer@95685867:setup()()
192.168.231.102:3692:main:WordCountReducer@95685867:reduce()(key = tom1)
192.168.231.102:3692:main:WordCountReducer@95685867:reduce()(key = tom3)
192.168.231.102:3692:main:WordCountReducer@95685867:reduce()(key = tom5)
192.168.231.102:3692:main:WordCountReducer@95685867:cleanup()()

=========2.reduce
192.168.231.101:3686:main:WordCountReducer@95685867:new()()
192.168.231.101:3686:main:WordCountReducer@95685867:setup()()
192.168.231.101:3686:main:WordCountReducer@95685867:reduce()(key = hello)
192.168.231.101:3686:main:WordCountReducer@95685867:reduce()(key = how)
192.168.231.101:3686:main:WordCountReducer@95685867:reduce()(key = tom2)
192.168.231.101:3686:main:WordCountReducer@95685867:reduce()(key = tom4)
192.168.231.101:3686:main:WordCountReducer@95685867:reduce()(key = tom6)
192.168.231.101:3686:main:WordCountReducer@95685867:reduce()(key = world)
192.168.231.101:3686:main:WordCountReducer@95685867:cleanup()()




缘定三石
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
教你玩转Hadoop分布式集群搭建，进击大数据
01-27
本文来自于51cto，这篇文件介绍如何搭建完全分布式的...伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。 教你玩转
虚拟机伪分布式安装hadoop的配置
最新发布
12-23
- **伪分布式模式**：Hadoop在单台机器上模拟分布式环境，HDFS和其他服务都会运行。 - **完全分布式模式**：在多台机器组成的集群上运行，适用于生产环境。 完成上述步骤后，你就可以在虚拟机上启动Hadoop的伪...
分布式计算模拟
liam12138的博客
12-21 497
1. 概念 分布式计算是一种计算方法，和集中式计算是相对的。 随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。 分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。 2. 简单的分布式计算框架 想要实现分布式计算，首先我们至少需要两个进程，一个负责逻辑的准备和逻辑的准备，一个负责执行计算，如小图所示（我们以 JVM 进程为例） 这样的计算架构其实就和 client/server 这种架构设
Docker | 分布式模拟
图图是只猫
04-17 1810
系统架构 我们需要有一个可运行的java jar包，这里的jar包运行在miaoshaserver上 Mysql服务器 创建mysql容器 docker run -p 3306:3306 --name mysql5.7 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 创建miaoshaserver服务器 拉取一个运行Java环境的镜像 docker pul...
YARN-SLS如何实现大集群，大数据的模拟
hahachenchen789的博客
07-12 560
对于几台到几十台机器组成的超小集群，可以采用sls或者rumen的文件方式输入，也就是runsls.sh后加参数--input-sls。但如果要模拟1000的中等集群甚至5000以上的大集群，手动修改sls或者rumen文件显然太不现实。hadoop社区一开始也没有考虑到这个问题，因此一直到2.6.5版本，都没有提供解决方案。但5月份新发布的hadoop3.0版本中，实现了这个功能。功能名字：Sy...
调试分布式 Web 应用程序 (1)
蝈蝈俊.net
12-12 2637
 Anand Rajagopalan开发专家电子商务主要支持团队Microsoft Corporation 2000年8月 摘要：深入介绍了用于调试分布式 Web 应用程序的各种工具。目的是在一个基于 Web 的开发环境中，用 Internet Information Services (IIS) Active Server Pages (ASP) 来调试中间层的 Component Obje
集群调试技巧
u010217321的专栏
09-13 390
1、tar –cvf 目标压缩文件名.tar 源目录[文件列表]   tar –xvf 源压缩文件名.tar //解压文件到当前目录下，通过PWD查看   2、scp 源文件名 目标主机的文件夹；若工程文件太多，建议压缩后再整体传输 root@f49:/home/ws/inMemRS/inMemRS_sub# scp./InMemRS.tar root@192.168.0.57:/ho
java实现分布式项目搭建的方法
08-27
2. CentOS 7 系统的 VM：一个虚拟机，用于模拟分布式系统的节点。 3. ZooKeeper：一个分布式协调服务，用于管理分布式系统的节点。 4. 老人机：一台三年高龄的老机器，用于模拟分布式系统的节点。 创建 Maven 项目 ...
Hadoop完全分布式配置.txt
11-05
伪分布模式 Hadoop守护进程运行在本地机器上，模拟一个小规模的的集群。可以使用HDFS和MapReduce。 c. 完全分布模式 Hadoop守护进程运行在一个集群上。启动所有的守护进程，具有hadoop完整的功能，可以使用HDFS、...
Hadoop伪分布式安装
02-02
【Hadoop伪分布式安装详解】 Hadoop，由Apache基金会开发，是一种分布式系统基础设施，旨在处理和存储大量数据。它的核心设计包含两个主要...在后续的开发和调试过程中，你可以在此基础上逐步过渡到完全分布式部署。
论文导读 | 分布式图模拟
weixin_48167662的博客
07-12 507
图模拟是一类宽松的图匹配模型。区别于子图同构要求匹配结果和匹配图具有相同的拓扑结构的规则，图模拟只对匹配节点的自身和一跳邻居有要求。得益于图模拟宽松的匹配规则，它具有较低的复杂度和更好的拓展性。这些优点引起了图算法界的注意，近些年，一些基于图模拟的研究工作陆续发表。...
SpringCloud(2)模拟分布式环境搭建
OVO_LQ_Start的博客
10-03 177
SpringCloud模拟分布式环境搭建1.搭建父工程2.创建api3.创建服务提供者4.消费者创建测试 1.搭建父工程 1.创建空的maven项目 ：springcloud 2.pom文件中添加需要的依赖以及版本管理 <!--打包方式--> <packaging>pom</packaging> <!--版本管理--> <properties> <junit.version>4.12</
单机模拟集群（三主两从）
weixin_46935110的博客
12-26 5597
单机模拟集群（三主两从）
zookeeper模拟分布式秒杀
csdnwindnorth的博客
09-05 428
代码（可供参考） public class TextSeckill { //定义一个共享资源（商品个数） private static int num = 10; //打印商品剩余个数 public static void printNum(){ //创建线程 System.out.println("**********" + Th...
控制台下利用Zookeeper模拟分布式系统协同
猪先森
09-30 2477
前言我们知道包括HBase,Kafka在内的许多分布式系统底层都采用zookeeper来实现分布式任务协作。使用Zookeeper开发分布式系统，可以让我们不用过多地纠结于分布式协同的一些极端概念，允许我们把更多的精力放在应用本身的逻辑上。当然，哪怕你不直接参与分布式系统的开发，了解zookeeper是怎样帮助我们构建一个分布式系统的，也可以让你在使用类似的一些工具上更加得心应手，触类旁通。
集群搭建系列（十五） 集群调试常用命令
rocky_24的博客
12-25 114
文章目录1 mysql 内存1.1 查看 linux mysql 内存使用率 % 1 mysql 内存 1.1 查看 linux mysql 内存使用率 % free -m | sed -n '2p' | awk '{print "used mem is "$3"M,total mem is "$2"M,used percent is "$3/$2*100"%"}' 1.2 Top 方式查看 执行 top 命令， 1 监控每个逻辑CPU的状况： 2 shift + p ：进程 CPU 排序 3
Dubbo 框架的分布式开发调试方案
super_scan的专栏
05-13 403
一、需求云服务产品，微服务架构，使用的Dubbo 框架。由于种种原因目前使用的版本是 Dubbox2.8.4 。业务开发人员的痛点：他们每个人的开发范围一般固定在某一个微服务内，但是如果想...
分享一个调试多解决方案下的分布式项目的小技巧
weixin_30361753的博客
07-31 152
这只是个小技巧分享，不喜欢可以忽视不见即可请不要拍砖 我们是分了多个解决方案的分布式项目 大体机构是 解决方案A :相当于一个应用服务器吧 解决方案B:处理业务逻辑和基础数据的 解决方案C：是一个WEB站点 解决方案C 与 解决方案A 用remoting通行， 解决方案A与解决方案B的依赖关系是，A反射调用B的DLL，B依赖引用A的DLL ，这样是为了避免DLL循环依赖调...
分布式调试问题
NaShiYu的博客
12-29 643
分布时调试，即在分布式环境下定时任务的处理 一、定时任务的场景 定时任务： 每隔一定时间/特定某一时间执行 订单审核、出库 订单超时⾃动取消、⽀付退款 礼券同步、⽣成、发放作业 物流信息推送、抓取作业、退换货处理作业 数据积压监控、⽇志监控、服务可⽤性探测作业 定时备份数据 ⾦融系统每天的定时结算 数据归档、清理作业 报表、离线数据分析作业 二、分布式调度 含义包含两层 运行在分布式集群环境下的调试任务 （同一个定时任务，程序部署多份，同一时刻只有一个定时任务在执...
Hadoop分布式安装配置.docx
11-03
通过在虚拟机上安装Hadoop，我们可以方便地模拟分布式环境，进行调试和测试。 Hadoop是由Apache基金会开发和维护的，它使用一种分布式文件系统（Hadoop分布式文件系统）来存储数据，并通过MapReduce算法进行数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值