Strom:pluggable scheduler :如何检测component是否已经分配到了指定的主机上

转自:http://blog.csdn.net/daliaojie/article/details/18617305

在做storm项目的时候,发现之前的那种判断是否执行自定义分配策略的条件太粗陋。以下是较严格的解决方案:

处理步骤应该为:

不懂得可以给我留言

//从实体的名字获取实体的线程集	
private ArrayList<ExecutorDetails> getExecutorByName(
			TopologyDetails topology, String ExecutorNames) {

		ArrayList<ExecutorDetails> re = new ArrayList<ExecutorDetails>();

		TopologyDetails TempTP = topology;
		Map<ExecutorDetails, String> temMap = TempTP.getExecutorToComponent();

		Set<ExecutorDetails> keyS = temMap.keySet();
		String ComName = null;
		for (ExecutorDetails temp : keyS) {
			ComName = temMap.get(temp);

			if (ComName.equals(ExecutorNames)) {
				re.add(temp);
			}
		}

		return re;

	}

//从线程集获取对应的WorkerSlot集合
	private ArrayList<WorkerSlot> getslotByEx(
			SchedulerAssignment currentAssignment,
			ArrayList<ExecutorDetails> Edlist) {

		ArrayList<WorkerSlot> re = new ArrayList<WorkerSlot>();

		Map<ExecutorDetails, WorkerSlot> tempEw = currentAssignment
				.getExecutorToSlot();

		WorkerSlot tempWorkSlot = null;
		for (ExecutorDetails temp : Edlist) {

			tempWorkSlot = tempEw.get(temp);

			re.add(tempWorkSlot);
		}

		return re;

	}

//根据WorkerSlot获取对应的主机名集合
	private ArrayList<String> getHostName(ArrayList<WorkerSlot> wSlotAlist,
			Cluster cluster) {
		ArrayList<String> AlHostName = new ArrayList<String>();

		for (WorkerSlot wSlot : wSlotAlist) {
			String tmp = wSlot.getNodeId();

			String HostName = cluster.getHost(tmp);

			if (AlHostName.contains(HostName) == false) {
				AlHostName.add(HostName);
			}
		}
		return AlHostName;
	}

//需要执行自定义策略,则返回1
	private int needdocustomSchedule(String topologyName, String ComName,
			String HostName, Cluster cluster, Topologies topologies) {
		int flag = -1;

		Map<String, List<ExecutorDetails>> componentToExecutors = cluster
				.getNeedsSchedulingComponentToExecutors(topologies
						.getByName(topologyName));

		if (componentToExecutors == null) {
			System.out.println("currentAssignment is null!!!");
			return flag;
		}
		if (componentToExecutors.containsKey(ComName))// component don't allocate
		{
			flag = 1;
		} else {
			TopologyDetails topologyss = topologies.getByName(topologyName);
			ArrayList<ExecutorDetails> tempEname = getExecutorByName(
					topologyss, ComName);

			SchedulerAssignment currentAssignment = cluster
					.getAssignmentById(topologies.getByName(topologyName)
							.getId());

			if (currentAssignment != null) {
				ArrayList<WorkerSlot> alistWs = getslotByEx(currentAssignment,
						tempEname);
				ArrayList<String> AlistHostName = getHostName(alistWs, cluster);
				for (String tempStr : AlistHostName) {
					if (tempStr.equals(HostName)) {
						flag = 0;
					}
					else
					{
						flag = 1;
					}
				}
			}

		}

		return flag;
	}

//释放当前已分配的任务
	private void freeAssignment(SchedulerAssignment currentAssignment,Cluster cluster) {
		
		Set<WorkerSlot> tempws=currentAssignment.getSlots();
		for(WorkerSlot temp:tempws)
		{
			cluster.freeSlot(new WorkerSlot(temp.getNodeId(),temp.getPort()));
		}
	}


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
资源包主要包含以下内容: ASP项目源码:每个资源包中都包含完整的ASP项目源码,这些源码采用了经典的ASP技术开发,结构清晰、注释详细,帮助用户轻松理解整个项目的逻辑和实现方式。通过这些源码,用户可以学习到ASP的基本语法、服务器端脚本编写方法、数据库操作、用户权限管理等关键技术。 数据库设计文件:为了方便用户更好地理解系统的后台逻辑,每个项目中都附带了完整的数据库设计文件。这些文件通常包括数据库结构图、数据表设计文档,以及示例数据SQL脚本。用户可以通过这些文件快速搭建项目所需的数据库环境,并了解各个数据表之间的关系和作用。 详细的开发文档:每个资源包都附有详细的开发文档,文档内容包括项目背景介绍、功能模块说明、系统流程图、用户界面设计以及关键代码解析等。这些文档为用户提供了深入的学习材料,使得即便是从零开始的开发者也能逐步掌握项目开发的全过程。 项目演示与使用指南:为帮助用户更好地理解和使用这些ASP项目,每个资源包中都包含项目的演示文件和使用指南。演示文件通常以视频或图文形式展示项目的主要功能和操作流程,使用指南则详细说明了如何配置开发环境、部署项目以及常见问题的解决方法。 毕业设计参考:对于正在准备毕业设计的学生来说,这些资源包是绝佳的参考材料。每个项目不仅功能完善、结构清晰,还符合常见的毕业设计要求和标准。通过这些项目,学生可以学习到如何从零开始构建一个完整的Web系统,并积累丰富的项目经验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值