利用ctypes给python加速

本文介绍了如何通过ctypes库来加速Python程序,尤其是在处理效率低下的pyspark任务时。作者比较了ctypes、cython、numpy和boost等方法,并选择了ctypes,因为它简单易用且无需额外安装。ctypes可以直接调用C动态库,实现Python与C的数据类型转换,特别是对于处理大型循环和位操作的情况,加速效果显著。
摘要由CSDN通过智能技术生成

好久没写博客了,来水一篇,今天写写怎么用ctypes给Python加速。

最近在用pyspark,然而Python效率实在太低,只能用C加速了。先说说结果,加速后C运行速度比Python快1000倍,因为我们的程序有特别大的双层循环,还有位操作。用C的时候,我还用了一些memcpy, memset, memcmp等操作,所以加速非常明显。

利用C语言给Python加速的方法特别多,可以用ctypes, cython, numpy, boost 等等。cython是最简易的,但是前提是必须安装cython,然而我们的spark并没有,我不可能给50多个机器安装cython;numpy有些麻烦,对象管理起来复杂,经常出现seg fault,可以看看github上numpy源码怎么写的;boost也一样,机器上没有。于是,只能用ctypes了。

好在ctypes非常简单好用,只是功能很少,但是对于一个纯C的程序来说,足够了。

ctypes可以直接加载动态库(Linux)

import ctypes
from ctypes import *
libc = CDLL('libc.so.6')
libc.printf('Hello world %d \n.', c_int(
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值