任务分发系统Gearmand的简介及搭建过程

一、Gearmand简介
Gearmand是一个任务分发系统，是用来将工作委派给其他机器、分布式的调用，做任务分发。常用来并发的做某项工作，都在多个调用间做负载均衡，或用来调用其他语言的函数的系统。

简而言之，就是客户端程序会把请求提交给gearmand，gearmand 会把请求转发给合适的 worker 来处理这个请求，最后还通过 gearmand 返回结果。

二、实现原理

运行流程图：

Client – > Job --> Worker
Client：任务发起者
Job：任务分配者
Worker：任务处理者
支持 mysql、pq、sqlit、brizzle、memcachedb做持久化存储
可开启多个进程，支持failover（自动故障转移）

简述执行流程：
Client 端作为请求发起者，客户端程序可以是任何一种语言，C、PHP、Perl、Python 等，
Job 请求调度者，负载协调把 Client 发出的请求转发给合适的 Worker
Worker 请求处理者，处理 Job 分发来的请求，可以是任何一种语言

三、源码编译搭建
gearmand安装包下载地址：https://github.com/gearman/gearmand/releases
我这里下载的是版本是gearmand-1.1.19.1.tar.gz
1、安装过程

#1、首先安装gearmand所依赖的包
yum -y install boost-devel gperf libevent-devel libuuid-devel
#2、切换到目录
cd /usr/local/
tar -xvf gearmand-1.1.19.1.tar.gz
cd gearmand-1.1.19.1
#3、编译安装
./configure;make;make install
#4、测试gearmand是否安装成功
cd /usr/local/gearmand-1.1.19.1/sbin
gearmand -V
# 注意： 如果这里报错：
gearmand: error while loading shared libraries: libgearman.so.8: cannot open shared object file: No such file or directory
# 解决方案：
ln -s /usr/local/gearmand/lib/libgearman.so.8 /usr/lib64
# 再次执行 
gearmand -V

如果编译时这里报错：
libgearman-server/plugins/queue/postgres/queue.cc:55:23: 致命错误：libpq-fe.h：没有那个文件或目录
报错原因：缺少对应的postgresql依赖包
解决方案：安装postgresql-devel

yum install -y postgresql-devel

2、启动gearmand程序

cd /usr/local/gearmand-1.1.19.1/sbin
# 启动gearmand
# 启动gearmand，-L 指定只监听 IPV4，-d 以守护进程的方式启动，-p port 默认 4730
./gearmand -L 0.0.0.0 -d
# 相关操作
# 停止 gearmand
killall gearmand 

如果启动时这里报错：
./gearmand: Could not open log file “/usr/local/gearmand-1.1.19.1/var/log/gearmand.log”, from “/usr/local/gearmand/sbin”, switching to stderr. (No such file or directory)
解决方法：

# 1、修改对应的目录为上面显示的
mv /usr/local/gearmand /usr/local/gearmand-1.1.19.1
# 2、重新启动gearmand
./gearmand -L 0.0.0.0 -d

3、查看监听端口【默认为4730】

netstat -antup | grep 4730
tcp        0      0 0.0.0.0:4730            0.0.0.0:*               LISTEN      101902/./gearmand   
tcp6       0      0 :::4730                 :::*                    LISTEN      101902/./gearmand 

4、编写gearmand启动脚本

vim gearman_ctl.sh

内容如下：

#!/bin/bash
#gearmand        Startup script for the Gearman server
#
# chkconfig: - 85 15
# description: Gearman is a distributed job system.
# processname: gearmand
# config: /etc/sysconfig/gearmand
# pidfile: /var/run/gearmand/gearmand.pid
#
### BEGIN INIT INFO
# Provides: gearmand
# Required-Start: $local_fs $network
# Required-Stop: $local_fs $network
# Default-Start:
# Default-Stop:
# Short-Description: start and stop the Gearman server
# Description: Gearman is a distributed job system.
### END INIT INFO o

# Configurations
PREFIX="/usr/local/gearmand-1.1.19.1"   #gearmand 目录
USER="steve"   # 执行用户


# Source function library.
. /etc/rc.d/init.d/functions

if [ -f /etc/sysconfig/gearmand ]; then
    /etc/sysconfig/gearmand
fi

if [ ! -d "/var/run/gearmand" ]; then
    mkdir /var/run/gearmand
    chown $USER /var/run/gearmand
    chmod 700 /var/run/gearmand
fi

[ -z "${PIDFILE}" ] && pidfile="/var/run/gearmand/gearmand.pid"
[ -z "${LOCKFILE}" ] && lockfile="/var/lock/subsys/gearmand"

gearmand=$PREFIX/sbin/gearmand
prog=gearmand

RETVAL=0

start() {
    echo -n $"Starting $prog: "
    #daemon --pidfile=$pidfile --user=$USER $gearmand -d $OPTIONS
    daemon --pidfile=$pidfile --user=$USER $gearmand -d -p 4730
    RETVAL=$?
    echo
    [ $RETVAL = 0 ] && (touch $lockfile; pgrep -f $gearmand > $pidfile)
    return $RETVAL

}

stop() {
    echo -n $"Stopping $prog: "
    killproc -p $pidfile $gearmand
    RETVAL=$?
    echo
    [ $RETVAL = 0 ] && rm -f $lockfile $pidfile
}

# See how we were called.
case "$1" in
        start)
    start
    ;;
        stop)
    stop
    ;;
        status)
              status -p $pidfile $gearmand
    RETVAL=$?
    ;;
        restart|reload)
    stop
    start
    ;;
        condrestart|try-restart)
    if status -p $pidfile $gearmand >&/dev/null; then
        stop
        start
    fi
    ;;
        *)
    echo $"Usage: $prog {start|stop|restart|reload|condrestart|status|help}"
    RETVAL=3
esac

exit $RETVAL

5、启动方法

# 启动
./gearman_ctl start  
# 停止
./gearman_ctl stop
# 查看状态
./gearman_ctl status

6、编写测试代码【python】
1、首先需要安装python-gearman

easy_install gearman

2、编写任务工作者：worker.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# file: worker.py
           
import os  
import gearman  
import math  
              
class CustomGearmanWorker(gearman.GearmanWorker):  
    def on_job_execute(self, current_job):  
        print "开始......"
        print "工作中......"
        print '结束'
           
        return super(CustomGearmanWorker, self).on_job_execute(current_job)  
            
def task_callback(gearman_worker, job):  
    print job.data  
    return job.data  
            
new_worker = CustomGearmanWorker(['127.0.0.1:7003'])    # 对应的IP 启动gearmand的Port
new_worker.register_task("echo", task_callback)  
new_worker.work()

2、启动worker.py

python worker.py

可以启动多个，分布在不同的机器上
3、编写测试端client.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# file: client.py
           
from gearman import GearmanClient  
            
new_client = GearmanClient(['127.0.0.1:7003'])  
current_request = new_client.submit_job('echo', 'foo')  
new_result = current_request.result  
print new_result

4、测试一下

python client.py

就可以看到worker输出的信息了