1.我要爬取一个网站，是 https://lcsc.com/products/Connectors_365.html ，因为网站的反爬机制比较严格，所以我使用了代理，我可能代理使用的也不是很对。

2.如果是单线程爬虫程序，是能获取到每一个URL的json 数据。但是太慢了。

3.使用了多线程之后，加上代理，URL 是能请求成功，但是因为多线程是非IO模式，所以遇到阻塞后，之后直接就进入下一个线程继续请求，从而导致数据直接返回空值也就是错误。【网站返回给用户的时候，数据返回的比较慢】

我想要的结果就是：

比如我开了3个线程，要让3个线程同时请求 3个 URL ，直到3个URL把数据成功返回，再去执行下一个3个线程，这样模式，如果其中一个线程超时，那就停止请求，跳过。把请求的URL返回到list 中，或者记录到 txt 中。

或者是大神，你有其他的更好的模式，比如3个线程一个线程使用IP代理去请求，然后遇到请求错误，就自动更换IP代理等，我都会采纳。

下方是我写的代码：

# encoding:utf-8
import requests
import json
from queue import Queue
from threading import Thread
import threading

import redis
from User_Agents import ua # 可以用你自己的UA
from ipagent import base_code
from ipagent import agent
import traceback

# redis_data = redis.StrictRedis(host="localhost", port=6379, db=12) # 
# redis_no_data = redis.StrictRedis(host="localhost", port=6379, db=13)

Form_data_list = []

GLOCK = threading.Lock()


def index():
    for x in range(1, 2030):
        data = {
            "current_page": "%s" % x,
            "category": "365",
            "in_stock": "false",
            "is_RoHS": "false",
            "show_icon": "false",
            "search_content": "",
            "limit": "25"
        }
        Form_data_list.append(data)

    ri_list = []
    for i in range(3):
        rjd = threading.Thread(target=requests_info)
        ri_list.append(rjd)
        # rjd.start()
    for rl in ri_list:
        rl.start()
    for rl in ri_list:
        rl.join()



def requests_info():
    while True:
        GLOCK.acquire()
        if len(Form_data_list) == 0:
            GLOCK.release()
            break
        GLOCK.release()
        form_data = Form_data_list.pop()
        headers = {
            'Proxy-Authorization': 'Basic %s' % (base_code("singfy@163.com", "Song1996")),
            "cookie": "CASAuth=2naldnduock3de36a3toq585ll; currency_symbol=US%24; _ga=GA1.2.1967328765.1607657137; _gid=GA1.2.1523443700.1607657137; _fbp=fb.1.1607657143014.1603377610; Hm_lvt_dde6ba2851f3db0ddc415ce0f895822e=1607657144,1607778948; ONEAPM_BI_sessionid=4120.452|1607794612561; _gat_UA-98399433-1=1; Hm_lpvt_dde6ba2851f3db0ddc415ce0f895822e=1607799668; track=eyJpdiI6IktWTTlIdFhTK01JUlIrN3k2Q1NhSWc9PSIsInZhbHVlIjoiUnpIRTVzelwvVlBpVHJyOVRQdTRKMVdBN3hKRXZQVFwvYWdyVmlpWEtMdmJHcnFJXC9malNJVkRCSzlla3gwaG80VWdVSkFWakRFM2t6bVN1TnZYRWtoRlFVSHNuQlplMkVcLzdTSGNYNXhqbWJvb29JXC9KN2s5ZmRTMEtPOGpqTUtIR1NIXC8xQSt4ZVhcL1p3aFJaYkl5eVVIRGwrakNoYmhlSU1obFVMU2diRUMybUQ4Q1QxSGlkc0pNUWk1cWRBb0ZmNTh6d3dpMFM1THBma1FWVkVDSFZ6Y1wvU3dUN3N6dXdLYVhvNzBESzlWZWFRY290SjVpek5GMUhsSENtSXl1SEoxIiwibWFjIjoiMmE5NDAwZGJiYmRjYjk4ZmRlNzFmMzYzMDk5ODU3ZGNiNzc1OWQwMjI0Zjg2OGE5NmQ4MDAzYjJjOGQ1ZmQzOSJ9; XSRF-TOKEN=eyJpdiI6IlVMNDZzTSt6bkdrQVNGdDVzMXVRSEE9PSIsInZhbHVlIjoiNW90aWJPZ041Sm5DbFZpakJwNW1BK1BFVjNXS2dqa1wvNk1tVmREVDNPT3cxRjZnMk55Nnd1alc5NUt4aHRcL3pCZzVSOWtZbjh5ZjlLMVwvbzl2UzYrSUE9PSIsIm1hYyI6IjVmZmUxNjMzZGU3NDMwZTI1NjBjNDk0ODZlOWM2MDhiMzA4NzM3ZGUxZDA5Mzg3N2M4MGI0YjViMGZjZDhkMWYifQ%3D%3D; lcsc_session=eyJpdiI6IlwvTVZWSFwvZUwxRDJkNTdBNzI0NTFoZz09IiwidmFsdWUiOiJDOWFjNmtYXC9wVmhqZjFNZWlIdTl0MVZEQ3pmTld3UmZaa0FRazE1Y3FFcjNuNytUN2F2QStzcU1EMzBLcVZleXorWE03a0lpNUhsdDRuK21zZEJEVHc9PSIsIm1hYyI6ImVkMjRhNmM4NjBmM2VhOTc3NWQ0NDEzMzI2ODVlY2Q1N2QzNDEzNDhkNzdlMDMzYWZlOGE1ZWIxMTI2MTc3YzcifQ%3D%3D; currency=eyJpdiI6ImhQXC83aFFHb2MrUUdFNWI2bVh5ZnVRPT0iLCJ2YWx1ZSI6IjBlVlRHNWhRTHQra0w0ejlhMHJqc0lPY1ZlMnpjZXArNGFJSHd4OTNDTUtzU2VCXC9FaWdVSlpxd3ZtZDJCVnkzQmlOSzBYRGxZZW5tM2xJN1o5TkZ1cWpkSHZzRUM3dGkwdkNSZzM5WFltUnpDRVV3V0NJWXZtRHNYYjFFa1VNc2JQWGM4bDdnTFwvWVl0bHhIbVAwSXB3PT0iLCJtYWMiOiJkOTUyNTI1YmMwYTNmN2I0Yzk3NjBiMWNhNDVmNzM0ZGY1ZjZlOTFlZmYyYWJjZjZlYzU5MjBhYTI2YzdlYmY4In0%3D",
            "isajax": "true",
            "origin": "https://lcsc.com",
            "referer": "https://lcsc.com/products/Connectors_365.html",
            "sec-fetch-dest": "empty",
            "sec-fetch-mode": "cors",
            "sec-fetch-site": "same-origin",
            "user-agent": "%s" % ua, # 可以用你自己UA
            "x-csrf-token": "NOWGfXddJdJjvfxMp0Kcw0R0LV1xbY0EtYYzhO0v",
            "x-requested-with": "XMLHttpRequest",
        }
        url = "https://lcsc.com/api/products/search"
        proxies = {
            'http': 'http://{}'.format(agent())
        }
        print(f"当前是{proxies} 正在发送请求")
        try:
            print(form_data)
            respon_data = requests.post(url, data=form_data, proxies=proxies, headers=headers, timeout=5,
                                        allow_redirects=False)

            json_content = json.loads(respon_data.content)
            if json_content['success'] == True:
                Downdata(json_content)

                print(f"第 {json_content['result']['current_page']} 页，获取到数据！")

            if json_content['success'] == False:
                print(f"第 {json_content['result']['current_page']} 页，请求数据成功,未获取到数据！")

        except:
            with open('error.log', "a") as f:
                traceback.print_exc(file=f)


def Downdata(json_data):

        pb_list = []

        json_content = json_data['result']['data']
        current_page = json_data['result']['current_page']  # 页码

        print("************************************")
        print(f"获取到第 {current_page} 页正在写入数据库中")
        print("************************************")

        for jd in json_content:

            c_number = jd['number']  # LCSC_PART
            price_brank = jd['manufacturer']['en']
            pb_list.append(c_number)
            inventory = jd['stock']
            if int(inventory) > 0:
                pass
                
                # print(price_brank)
                # 下载数据
                # redis_data.hmset(price_brank, {"%s" % c_number: "%s" % jd})
            else:
                pass
                # redis_no_data.hmset(price_brank, {"%s" % c_number: "%s" % jd})


if __name__ == '__main__':
    index()

下方是付费代理代码【已经可用时日不多，请大神酌量】：

修改ipapi 的 NUM后面值是 1 表示获取一个代理，2 就表示获取2个代理。

import json
import requests
import base64


def base_code(username, password):
    str = '%s:%s' % (username, password)
    encodestr = base64.b64encode(str.encode('utf-8'))
    return '%s' % encodestr.decode()


def agent():
    ipapi = "http://api.wandoudl.com/api/ip?app_key=2ea43cb15fc4d1e3ee2eb8d250b3043c&pack=218120&num=1&xy=1&type=2&lb=\r\n&mr=1&"
    jsonrequ = requests.get(ipapi)
    jsondata = json.loads(jsonrequ.content)['data']

    for j in jsondata:
        ipdata = j['ip']
        portdata = j['port']
        ip_port = f"{ipdata}:{portdata}"
        return ip_port

Hakcer's Junk

Python(openpyxl/pandas)如何实现多个EXCEL写入到一个EXCEL中(多个sheet写入到一个EXCEL中)

python 实现 PC端剪映字幕转换SRT格式工具代码-Python 实现

【2021-11-07 最新python】 pixabay 图片网站全量爬虫 代码分享

最新 python 3 实现百度翻译 sign 逆向

python 自动化办公 随机生成题库文档

python3 爬虫，摆脱手动for循环获取网页下一页，让程序自动执行请求网页下一页。

爬虫接单考试入群【python技术学习内部】

【大神紧急求助】使用Python多线程多代理，用post请求成功，但是因为网站加载慢获取不到数据

【大神紧急求助】使用Python多线程多代理，用post请求成功，但是因为网站加载慢获取不到数据

第17课：def 函数之间的相互调用引用

第16课：把爬虫代码写入 def 函数中

第15课：print() 基础了解

第14课：def 全局变量 和 局部变量 ，封装的了解

第13课：def 函数初识 之 作用域

第12课：python 代码抒写注意

第11课：数据的存储 之 with open 基础篇

第6课：学习用 requests 请求网站，并得到网站数据【免订阅版】

第10课：利用Headers 的 cookie，实现爬取需要登录的网站信息

第9课：利用 Headers 的 Cookie 和 User-agent 伪装自己

第8课：网页 HTML 分析

【2021-11-07 最新python】 pixabay 图片网站全量爬虫代码分享

python 自动化办公随机生成题库文档

第14课：def 全局变量和局部变量，封装的了解

第13课：def 函数初识之作用域

第11课：数据的存储之 with open 基础篇