python编译dll 效率_Python调用C模块以及性能分析

一.c，ctypes和python的数据类型的对应关系

ctypes type ctype Python type

c_char char 1-character string

c_wchar wchar_t 1-character unicode string

c_byte char int/long

c_ubyte unsigned char int/long

c_short short int/long

c_ushort unsigned short int/long

c_int int int/long

c_uint unsigned int int/long

c_long long int/long

c_ulong unsigned long int/long

c_longlong __int64 or long long int/long

c_ulonglong unsigned __int64 or unsigned long long int/long

c_float float float

c_double double float

c_char_p char * (NUL terminated) string or None

c_wchar_p wchar_t * (NUL terminated) unicode or None

c_void_p void * int/long or None

2.操作int

>>> from ctypes import *

>>> c=c_int(34)

>>> c

c_int(34)

>>> c.value

34

>>> c.value=343

>>> c.value

343

3.操作字符串

>>> p=create_string_buffer(10)

>>> p.raw

'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'

>>> p.value='fefefe'

>>> p.raw

'fefefe\x00\x00\x00\x00'

>>> p.value='fefeeeeeeeeeeeeeeeeeeeeeee' #字符串太长，报错

Traceback (most recent call last):

File "", line 1, in

ValueError: string too long

4.操作指针

>>> i=c_int(999)

>>> pi=pointer(i)

>>> pi

>>> pi.value

Traceback (most recent call last):

File "", line 1, in

AttributeError: 'LP_c_int' object has no attribute 'value'

>>> pi.contents

c_int(999)

>>> pi.contents=c_long(34343)

>>> pi.contents

c_int(34343)

通过pointer获取一个值的指针

通过contents获取一个指针的值

5.c的结构体

#定义一个c的structure，包含两个成员变量x和y

>>> class POINT(Structure):

... _fields_=[('x',c_int),('y',c_int)]

...

>>> point=POINT(2,4)

>>> point

>>> point.x,point.y

(2, 4)

>>> porint=POINT(y=2)

>>> porint

>>> point=POINT(y=2)

>>> point.x,point.y

(0, 2)

定义一个类型为POINT的数组

>>> POINT_ARRAY=POINT*3

>>> pa=POINT_ARRAY(POINT(2,3),POINT(2,4),POINT(2,5))

>>> for i in pa:print pa.y

...

Traceback (most recent call last):

File "", line 1, in

AttributeError: 'POINT_Array_3' object has no attribute 'y'

>>> for i in pa:print i.y

...

3

4

5

6.访问so文件

1.创建一个c文件

#include

int hello_world(){

printf("Hello World\n");

return 0;

}

int main(){

hello_world();

return 0;

}

2.编译成动态链接库

gcc hello_world.c -fPIC -shared -o hello_world.so

3.python中调用库中的函数

from ctypes import cdll

c_lib=cdll.LoadLibrary('./hello_world.so')

c_lib.hello_world()

二.测试c的性能和python的差别

sum.c

#include

int sum(int num){

long sum=0;

int i =0;

for( i=1;i<=num;i++){

sum=sum+i;

};

return sum;

}

int main(){

printf("%d",sum(10));

return 0;

}

测试方案：计算1-100的和

测试次数：100万次

1. 直接用c来执行，通linux 的time命令来记录执行的用时

sum.c：

#include

int sum(int num){

long sum=0;

int i =0;

for( i=1;i<=num;i++){

sum=sum+i;

};

return sum;

}

int main(){

int i ;

for (i=0;i<1000000;i++){

sum(100);

}

return 0;

测试结果的例子：

real 1.16

user 1.13

sys 0.01

2.通过Python调用so文件和python的测试结果

sum_test.py:

def sum_python(num):

s = 0

for i in xrange(1,num+1):

s += i

return s

from ctypes import cdll

c_lib = cdll.LoadLibrary('./sum.so')

def sum_c(num):

return c_lib.sum(num)

def test(num):

import timeit

t1 = timeit.Timer('c_lib.sum(%d)' % num, 'from __main__ import c_lib')

t2 = timeit.Timer('sum_python(%d)' % num, 'from __main__ import sum_python')

print 'c', t1.timeit(number=1000000)

print 'python', t2.timeit(number=1000000)

if __name__ == '__main__':

test(100)

测试结果的例子

c 1.02756714821

python 7.90672802925

3.测试erlang的测试结果

刚刚学了erlang，那就一起测试一下erlang的运算性能

sum.erl:

-module(sum).

-export([sum/2,sum_test/2]).

sum(0,Sum) ->

Sum;

sum(Num,Sum) ->

sum(Num-1,Sum+Num).

sum_test(Num,0) ->

0;

sum_test(Num,Times) ->

sum(Num,0),

sum_test(Num,Times-1).

调用：

timer:tc(sum,sum_test,[100,1000000]).

测试结果的例子：

{2418486,0}

4.测试结果

用上面的测试方法，进行10次测试，去除最大值和最小值，再计算平均值，得出：

Python调用c

原生的c

Python

erlang

0.95

0.48

8.47

2.43

单位：秒

求和的运行，使用的内存比较小，但是占用CPU资源比较多。

原生的C是最快的，Python调用c会稍微慢一点，原因是计算100的和的操作是在c里面做的，而执行100万次的逻辑是在python做的

erlang的性能虽然比c稍慢，但是也是不错的，

Python的运行效率惨不忍睹。。。