python爬虫被检测频繁登录解决方法

快乐的rainer

于 2020-01-15 11:12:07 发布

阅读量5.9k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： python xpath html

本文链接：https://blog.csdn.net/qq_42796684/article/details/103985532

本文介绍了在Python爬虫遇到频繁登录问题时的应对策略，包括使用代理、调整遍历范围、避免全局变量问题以及增强代码的异常处理。同时提醒了time.sleep()的使用误区，指出其并不能模拟真实用户行为。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当爬虫遇到频繁登录

下方是对静态网页爬取的python代码（符合爬虫协议规定），注释阐释了我的思路以及碰到的一些问题

import requests
from lxml import etree
import time
import random

url = 'http://www.job5156.com/qiye/hebei-0/'
headers = {
   
   
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
}
# 设置代理池 为防止网页出现  频繁登录 而不能获取部分源码的情况
procxy = [
    {
   
   'https':'36.6.147.197:28546'},
    {
   
   'https':'223.241.117.118:18118'},
    {
   
   'https':'114.239.172.141:38001'},
    {
   <