Python HTTP发送模块实现

最近开源项目需要一个用C语言实现的Http模块，用于网络数据的发送和接受

然后呢就看了很多网上的教程，使用了一个C语言中的curl方法
源代码如下

#include <stdio.h>
#include <curl/curl.h>
#include <stdlib.h>
#include <string.h>
#include <openssl/md5.h>
#include <python2.7/Python.h>

size_t memory_callback(void *data, size_t size, size_t nmemb, void *content)
{
    size_t realsize = size *nmemb;
    char *p = *(char **)content;
    size_t len = p ? strlen(p) : 0;
    *(char **)content = realloc(p, len + realsize + 1);
    p = *(char **)content;
    memcpy(p + len, data, realsize);
    p[len + realsize] = '\0';

    return realsize;
}

size_t get_content(char *appid, char *secret_key, char *q, char *from ,char *to, char **content)
{
  CURL *curl;
  CURLcode res;

  curl = curl_easy_init();
  if(curl)
  {
    char myurl[1000] = "http://api.fanyi.baidu.com/api/trans/vip/translate?";
    char salt[60];
    int a = rand();
    sprintf(salt,"%d",a);
    char sign[120] = "";
    strcat(sign,appid);
    strcat(sign,q);
    strcat(sign,salt);
    strcat(sign,secret_key);
    //printf("%s\n",sign);
    unsigned char md[16];
    int i;
    char tmp[3]={'\0'},buf[33]={'\0'};

    MD5((const unsigned char *)sign, strlen((const char *)sign), md);

    for (i = 0; i < 16; i++)
    {
        sprintf(tmp,"%2.2x",md[i]);
        strcat(buf,tmp);
    }
    //printf("%s\n",buf);
    strcat(myurl,"appid=");
    strcat(myurl,appid);
    strcat(myurl,"&q=");
    strcat(myurl,q);
    strcat(myurl,"&from=");
    strcat(myurl,from);
    strcat(myurl,"&to=");
    strcat(myurl,to);
    strcat(myurl,"&salt=");
    strcat(myurl,salt);
    strcat(myurl,"&sign=");
    strcat(myurl,buf);
    printf("%s\n",myurl);

    /* always cleanup */
    curl_easy_setopt(curl, CURLOPT_URL, myurl);
    curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, memory_callback);
    curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)content);

    res = curl_easy_perform(curl);
    /* Check for errors */ 
    if(res != CURLE_OK)
      fprintf(stderr, "curl_easy_perform() failed: %s\n",
              curl_easy_strerror(res));
    curl_easy_cleanup(curl);
    }
    return 0;
}

static PyObject *xhttp(PyObject *self, PyObject *args)
{
    char *content = NULL;
    char *appid;
    char *secret_key;
    char *q;
    char *from;
    char *to;
    if(!PyArg_ParseTuple(args, "s|ssss", &appid, &secret_key, &q, &from, &to))
    {
        return NULL;
    }
    get_content(appid, secret_key, q, from, to, &content);

    return Py_BuildValue("s", content);
    if(content) free(content);
}

static PyMethodDef httpMethods[] =
{
    {"xhttp", (PyCFunction)xhttp, METH_VARARGS},
    {NULL, NULL, 0, NULL}
};

PyMODINIT_FUNC initxhttp(void)
{
    Py_InitModule("xhttp", httpMethods);
}

我们从头来研究一下这个代码吧
首先是三个函数库，比较特殊

#include <curl/curl.h>
#include <openssl/md5.h>
#include <python2.7/Python.h>

curl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本

但是我们这里使用的是libcurl

并不是linux的某个命令，而是一个函数库

#include <openssl/md5.h>

是加密函数，用于计算md5值的

#include <python2.7/Python.h>

这里也可以写作

#include "Python.h"

但是我们现在直接指定到特定的头文件，可以减少很多编译时候的麻烦

然后便是这个包装过的C函数

size_t memory_callback(void *data, size_t size, size_t nmemb, void *content)
{
    size_t realsize = size *nmemb;
    char *p = *(char **)content;
    size_t len = p ? strlen(p) : 0;
    *(char **)content = realloc(p, len + realsize + 1);
    p = *(char **)content;
    memcpy(p + len, data, realsize);
    p[len + realsize] = '\0';

    return realsize;
}

这个函数是我们在调用

curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, memory_callback);

时候，调用的处理函数

通过CURLOPT_WRITEFUNCTION指定curl_easy_setopt的处理方式，在接受到返回的http包时候，自动调用memory_callback函数来处理

而memory_callback函数的结构所在cURL的API说明中定义的

我们可以去cURL的官网去查看说明，这里我摘查了一下

#include <curl/curl.h>

size_t write_callback(char *ptr, size_t size, size_t nmemb, void *userdata);

CURLcode curl_easy_setopt(CURL *handle, CURLOPT_WRITEFUNCTION, write_callback);

现在我们来解释一下其中的几个参数的意义

首先ptr是指向交付的数据的指针

size和nmemb相乘的结果则是代表返回数据的大小

而size代表的是每个块的大小，nmemb代表的是块的数目

而userdata并不是在我们这里函数中定义的

userdata是定义在这里

#include <curl/curl.h>

CURLcode curl_easy_setopt(CURL *handle, CURLOPT_WRITEDATA, void *pointer)

注意:

我们这里定义时使用的名为是pointer的指针，但是结合我们前面那个定义，pointer代表的就是要传进write_callback的第四个参数userdata

上面那个定义就是我们对userdata的定义

如果你没有定义回写函数(wirte_callback)，那么，pointer就必须初始化为一个FILE类型的的文件句柄

然后通过这个文件句柄将送回的http包的内容写入文件中

char *p = *(char **)content;这句话的意思是将返回的http包内容content的地址赋给*p

然后将p指向的内存的大小计算出来，放入变量len中

size_t len = p ? strlen(p) : 0;

最后，使用realloc重新分配content所指向的内存大小为返回的数据的大小

*(char **)content = realloc(p, len + realsize + 1);

最后把指针p指向新的content

p = *(char **)content;

指针p也只是一个中间变量，主要是未来防止丢失包的地址，先将其保存在p指针中

然后改变完content后，再用p指向新的content

最后将数据data存入新扩展的内存中

然后，我们进入主函数中

curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, memory_callback);
curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)content);

主函数中的

curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, memory_callback);

将传回的数据通过回调函数处理，存入适当的空间中，然后执行下一个函数

curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)content);

将content指针指向数据存储的位置

然后检查curl的工作情况

res = curl_easy_perform(curl);

最后判断一下res的值，是否为正常的值

最后我们就可以使用python来包装我们的C代码了

if(!PyArg_ParseTuple(args, "s|ssss", &appid, &secret_key, &q, &from, &to))
    {
        return NULL;
    }

从python中传入的五个参数，都是为string类型的

然后我们调用C语言的函数

get_content(appid, secret_key, q, from, to, &content);

将返回的值写入content中，最后将C语言中的值转换成python的值然后返回python中

return Py_BuildValue("s", content);

最后的最后，那就是编译了

将要链接的库函数接在程序的后面

gcc -shared -I/usr/include/python2.7 -fPIC xhttp.c -lcurl -lssl -pthread -o xhttp.so

编译成so文件，就可以在这个目录下导入这个我们用C写的模块了