python多线程实现百度url采集

最新推荐文章于 2024-07-16 11:18:32 发布

pyxhr

最新推荐文章于 2024-07-16 11:18:32 发布

阅读量702

点赞数

分类专栏：网络安全编程笔记文章标签： python

本文链接：https://blog.csdn.net/qq_41320638/article/details/104383622

版权

本文介绍了在Python中使用多线程进行百度URL采集时，如何处理线程间变量共享问题，特别是防止pn参数值被后续线程覆盖。关键在于在线程内的writefile()方法中设置get请求参数，确保每个线程拥有独立的pn值。

摘要由CSDN通过智能技术生成

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import requests,re
from time import time,sleep
from sys import argv
from threading import Thread

def geturl(content,num=100):
    url = "https://www.baidu.com/s?"           #使用百度搜索
    threadlist = []             #线程列表
    headers = {
        'User-Agent': r'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'
    }                                       #设置head浏览器标识
    name = argv[0][:-9]+str(time())+'.txt'
    global f
    f = open(name, 'a')  #将获取的url写入文件
    print("正在采集url,并写入文件...")
    length = range(int(num/10))
    for n in length:            #实现翻页功能
        page = n*10
        thread = Thread(target=writefile,args=(url,page,headers,content))
        threadlist.append(thread)

    for i in length:
        threadlist[i].start()
        sle