开源的相关记录

Protocal Buffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但Protocal Buffer的一个优势是其序列化/反序列化非常高效。

AD：51CTO首届中国APP创新评选大赛正在招募>>

1. Protocol buffer

Protocal Buffer是google开源的用于数据交换的库，常用于跨语言的数据访问，担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift，它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现，但Protocal Buffer的一个优势是其序列化/反序列化非常高效。

2. Libprocess

libprocess是采用C/C++编写的高效消息传递编程模型（基于消息传递的网络通信模型，而不是RPC），由伯克利开源。 其整个实现非常简单，包括最基本的消息发送和接收等。

2.1 Libprocess模型

在mesos中，主要有四个角色，分别是：mesos-master，mesos-slave，framework（Hadoop/Spark /MPI等） scheduler，executor（在mesos-slave上执行framework task的组件），每种角色均是一个Process，在实现时会继承libprocess中的ProtobufProcess类（它又继承了 Process类），这样，它们均会编成一个后台运行且不断监听protocal buffer消息的socket server，如下图所示：

2.2 各种常用函数

Libprocess+protocol buffer组合是mesos最底层最重要的消息传递基础库（没有采用RPC机制），由于该库采用了基于Protocal Buffer消息传递的通信机制），因而非常高效。Mesos常用的两个头文件是libprocess\include\process下的 process.hpp和protobuf.hpp，这两个提供了用于消息传递的API，其中process.hpp是最核心的文件，提供了原始的接口， 而protobuf.hpp是在process.hpp基础上，加入了ProtocalBuffer对象参数，使ProtocalBuffer使用起来更 加容易。

(1) install

void install(void (T::*method)(P1C),P1 (M::*param1)() const);

安装一个处理ProtocalBuffer消息的handler，其中，消息类型是M，该消息对应的处理函数是method，函数参数为M::*param1。举例：mesos中slave/slave.cpp：

   
   
install( 
      &Slave::newMasterDetected, 
      &NewMasterDetectedMessage::pid); 

安装一个处理NewMasterDetectedMessage（ProtocalBuffer对象）的handler，mesos slave一旦接收到该消息，便会调用newMasterDetected函数处理， 且该函数的输入参数是NewMasterDetectedMessage消息中的pid属性。

   
   
void install(const std::string& name,void (T::*method)(const UPID&, const std::string&)) 

安装一个处理字符串的handler，也就是说，当收到字符串name后，调用函数method进行处理。这个API在mesos中的典型应用时维持master与slave之间的心跳，以确定彼此活着：

在slave/slave.cpp中：

   
   
install("PING", &Slave::ping); 
  
void Slave::ping(const UPID& from, const string& body) 
{ 
  send(from, "PONG"); 
} 

在master/master.cpp中：

   
   
install("PONG", &SlaveObserver::pong); 
  void pong(const UPID& from, const string& body) 
  { 
    timeouts = 0; 
    pinged = false; 
  } 
  void timeout() 
  { 
    if (pinged) { // So we haven't got back a pong yet ... 
      if (++timeouts >= MAX_SLAVE_TIMEOUTS) { 
        deactivate(); 
        return; 
      } 
    } 
    send(slave, "PING"); 
    pinged = true; 
    delay(SLAVE_PONG_TIMEOUT, self(), &SlaveObserver::timeout); 
  } 

(2) send

   
   
void send(const process::UPID& to, const google::protobuf::Message& message) 

向某个UPID上发送消息，其中UPID代表一个socket，里面含有ip和port信息，而消息message是ProtocalBuffer定义的对象。

(3) dispatch

   
   
void dispatch(const UPID& pid, 
  const std::tr1::shared_ptr >& f) 

执行进程pid中的函数f，为了提高效率，该函数并不会等到函数f执行完成，而是采用了异步的方法：将函数f放入一个函数队列，由另外一个进程（或者多个）不断从队列中获取函数，依次执行。

(4) delay

   
   
Timer delay(double secs,const PID& pid,void (T::*method)()) 

延迟secs秒调度进程pid中的方法method，并返回一个计数器，通过这个计时器，可取消该调度。

在mesos中，巧妙地通过该函数构造了一个无限循环以不断检测空闲资源，并将之分配给各个框架，代码如下：

   
   
void Master::initialize() { 
…… 
  timerTickTimer = delay(1.0, self(), &Master::timerTick); 
} 
void Master::timerTick() { 
  …… 
  timerTickTimer = delay(1.0, self(), &Master::timerTick); 
} 

上面函数代码段可完成每1s调用一次timerTick函数的功能。

3. Boost

非常有名的开源C++基础库，里面的STL非常高效方便，已被很多著名软件采用。

4. Zookeeper

是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。 Mesos采用zookeeper解决master单点故障问题，使用zookeeper搭建一个master集群，当master出现故障时，选择一个 standby master 变为master。

5. glog

Google开源的C++日志库，主用于C++程序中打印日志，打印格式如下：

I0411 17:26:54.150193 20653 main.cpp:111] Creating “process” isolation module

I0411 17:26:54.150400 20653 main.cpp:119] Build: 2012-04-11 16:50:21 by root

I0411 17:26:54.150658 20653 main.cpp:120] Starting Mesos slave

I0411 17:26:54.152981 20669 slave.cpp:191] Slave started on 123.145.2.2:34694

I0411 17:26:54.153024 20669 slave.cpp:192] Slave resources: cpus=2; mem=490

6. gmock

开源 C++ 单元测试框架

7. 参考资料

（1）Mesos主页：http://www.mesosproject.org/index.html

（2）Mesos代码：https://svn.apache.org/repos/asf/incubator/mesos/trunk/

原文链接：http://dongxicheng.org/apache-mesos/mesos-base-libarary/