python多线程处理循环方式_使用python循环的多线程处理

本文介绍了尝试在Python 2.7的Jupyter环境中使用多线程来加速一个web解析器的过程。代码首先展示了一个单线程版本,它遍历URL列表,获取页面标题和创作者信息并写入CSV文件。接着,作者尝试使用threading.Thread创建多线程版本,但由于对多线程的理解不足,未能成功。作者指出,单线程执行该任务需要约2小时,期待通过多线程优化来节省时间。
摘要由CSDN通过智能技术生成

我试图在处理器的几个线程上运行这个Python代码,但是我找不到如何分配多个线程。我在Jupyter(以前叫I python)中使用的是python 2.7。

初始代码如下(所有这部分都工作得很好)。它是一个web解析器,它接受x,即我的列表中的一个url,即一个url列表,然后编写一个CSV(其中out_string是一行)。

不带多线程的代码my_list = ['http://stackoverflow.com/', 'http://google.com']

def main():

with open('Extract.csv'), 'w') as out_file:

count_loop = 0

for x in my_list:

#================ Get title ==================#

out_string = ""

campaign = parseCampaign(x)

out_string += ';' + str(campaign.getTitle())

#================ Get Profile =============

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值