本样例中包含两个web应用程序,分别实现了两种角色:master(唯一)和worker(多个),两种角色之间通过rabbitmq消息队列进行通信,协作完成圆周率π值的计算。基本场景如下:master程序负责统筹规划,将总的计算任务分割成若干子任务,依次发送到一个工作消息队列workqueue中;各个worker程序从该工作队列中取出子任务进行计算,并将结果发送到另一个消息队列result queue中;与此同时,master监听resultqueue,收集所有子任务的计算结果,并汇总成最终结果反馈给用户。
采用这种“主-从”结构的好处是,可以通过添加更多的工作者实例(使用VMC命令增加worker应用程序的实例数目),尽管master是唯一的,实际完成任务的worker却增多了,一个大规模的任务划分为多个小任务并发进行,从而提高了并发度和效率。
程序计算π值时使用莱布尼茨公式 π=4*(1-1/3+1/5-1/7+1/9······),无穷级数的项数越多,计算结果越精确。master在分割任务时,以10000为单位对此无穷级数进行分段,即,每个子任务负责计算其中的10000项。
使用技术:RabbitMQ
程序repository地址:https://github.com/SpringSource/cloudfoundry-samples/tree/master/picalc-rabbitmq
repo中包含两个应用程序:picalc-master和picalc-worker。
一、master程序
我们先来看一下master是如何划分任务的。任务划分逻辑位于HomeController.java的getPi方法中:
public double getPi(int nrOfMessages) { //参数即为划分的子任务总数
String corrId =UUID.randomUUID().toString();
int nrOfElements = 10000; //每个子任务的规模
masterHandler.registerAggregate(corrId,nrOfMessages);
for (int i = 0; i < nrOfMessages;i++) {
//分发任务。对于每个子任务,构造一个WorkMessage消息来表示
WorkMessage workMessage = new WorkMessage();
workMessage.setCorrelationId(corrId);
workMessage.setStart(i);
workMessage.setNrOfElements(nrOfElements);
rabbitTemplate.convertAndSend(workMessage,new MessagePostProcessor() {//RabbitMQ消息队列操作
public Message postProcessMessage(Message message) throws AmqpException {
message.getMessageProperties().setReplyToAddress(new Address("direct://piExchange/" + QueueNames.RESULT_QUEUE_NAME));
return message;
}
});
}
logger.info("Sent messages to workers. Waiting for response...");
try {
masterHandler.await(corrId);
} catch (InterruptedException e) {
logger.error("Error waiting for response from workers", e);
}
return masterHandler.getResult(corrId);
}
任务划分之后,worker们就可以从该工作队列中取消息开始子任务的计算了。而master则监听另一个结果消息队列,将所有子任务的结果收集起来,得到最终结果。由子任务结果汇总成最终结果的过程,其实就是简单地将每个子任务结果累加,这一步通过调用messaging/Aggregate.java中的process方法完成。
二、worker程序
下面再来看看worker程序的行为。worker程序相对就简单多了,概括起来就是:取子任务—计算—报告结果。子任务计算逻辑位于messaging/WorkerHandler.java:
public class WorkerHandler {
private double calculatePiFor(int start,int nrOfElements) { //参数start表示该子任务对应无穷级数第几段,而非第几项
double acc = 0.0;
for (int i = start * nrOfElements; i<= ((start + 1) * nrOfElements - 1); i++) {
acc += 4.0 * (1 - (i % 2) * 2)/ (2 * i + 1);
}
return acc;
}
public ResultMessage handleMessage(WorkMessage workMessage) { //自动调用
int startNumber =workMessage.getStart();
double result =calculatePiFor(workMessage.getStart(), workMessage.getNrOfElements());
ResultMessage resultMessage = newResultMessage();
resultMessage.setCorrelationId(workMessage.getCorrelationId());
resultMessage.setResult(result);
return resultMessage;
}
}
三、使用Cloud Foundry运行时环境和云服务的新方法
本程序也是Spring应用程序,但与之前几个样例程序不同,其上下文配置不是在通常的配置文件中,而是写在了Java源文件中,通过Spring标记来标识Bean。这些应用程序上下文配置源代码位于 java/org/cloudfoundry/picalc/config 目录下。通过分析这些配置,我们也能够学习一种不同的方式来使用Cloud Foundry的环境变量和服务。
以master程序中的AbstractConfiguration.java文件为例:
//导入Cloud Foundry运行时依赖包
import org.cloudfoundry.runtime.env.CloudEnvironment;
import org.cloudfoundry.runtime.service.messaging.RabbitServiceCreator;
//Spring 标记
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public abstract class AbstractConfiguration {
@Bean
public ConnectionFactory connectionFactory() {
CloudEnvironment environment = new CloudEnvironment(); //Cloud Foundry运行时环境
if (environment.getInstanceInfo() != null) {
//使用Cloud Foundry的RabbitMQ云服务
return new RabbitServiceCreator(new CloudEnvironment()).createSingletonService().service;
} else {
//使用本机服务
CachingConnectionFactory connectionFactory = new CachingConnectionFactory("localhost");
connectionFactory.setUsername("guest");
connectionFactory.setPassword("guest");
return connectionFactory;
}
}
}
这里使用了CloudFoundry的运行时环境,并构造了一个RabbitMQ云服务实例。与此类似,可添加更多 @Bean 标记使用Cloud Foundry的其他服务,或对服务上下文进行配置。大家可以查看所有配置源文件的代码进一步了解这种方法。