Python+Selenium:并行爬取Google patent数据

醉雨轩^_^

已于 2022-12-14 15:57:29 修改

阅读量864

点赞数

分类专栏： Python 文章标签： selenium 测试工具

于 2022-12-01 16:01:02 首次发布

本文链接：https://blog.csdn.net/miao0967020148/article/details/128133150

版权

本文介绍了如何使用Python的Selenium库进行多线程爬取Google专利数据，以提高效率。通过建立线程池队列、执行线程任务、划分数据批次、线程池写入监听以及回收线程池五个步骤，详细阐述了实现过程，并提供了并行写入的测试用例源码。

摘要由CSDN通过智能技术生成

接上一篇内容：Python+Selenium:Google patent数据爬取

Python+Selenium:Google patent数据爬取_醉雨轩^_^的博客-CSDN博客

鉴于单线程爬取效率太低，本文针对此问题，实现了多线程的爬取数据程序

并将爬取的数据，写入.csv文件

步骤1：建立线程池队列

if __name__ == '__main__':
    # must use Manager queue here, or will not work

    manager = mp.Manager()
    q = manager.Queue()
    pool = mp.Pool(mp.cpu_count() + 2)

注意：

线程数量可以根据自己设备，调整一下参数
q为控制同步写入csv文件的队列变量

步骤2：执行线程任务

def runit(k,q):

    results = []
    # for k in part:
    print("查询%s" % k)
    result = sp.make_page_query(k)
    # results.append(result)
    q.put(result)
    return