【无标题】爬取网页有反扒不能全部返回代码怎么办?

今天学习一个爬虫python 程序,需要爬取网页的源代码,结果怎么尝试都是失败,研究了几天还有一样没有进展
#使用爬虫到网上去爬一些数据
import requests
from lxml import etree
import os
#获取地址
url='https://baijiahao.baidu.com/s?'

data={
    'wd':'id=1761874515754793087'
}

headers={"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0"}
#发送请求
resp=requests.get(url,params=data,headers=headers,proxies=proxy)
#使用utf-8解码
resp.encoding="utf-8"
输出
print(resp.text)

结果返回的只有是网络不给力: 

<div class="timeout hide-callback">
<div class="timeout-img"></div>
 <div class="timeout-title">网络不给力,请稍后重试</div>
 <button type="button" class="timeout-button">返回首页</button>

还有什么方法能够绕过反扒呢?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CrawlSpider是Scrapy框架中的一个爬虫类,用于爬取网站的链接并按照规则进行递归爬取。在爬取过程中,有些网站可能会设置反扒措施,如验证码、IP封禁等,这些问题需要在爬虫中进行处理。下面是一个处理验证码的中间件示例代码: ```python from scrapy import signals from scrapy.http import HtmlResponse from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC class CaptchaMiddleware(object): def __init__(self, driver_path): self.driver = webdriver.Chrome(executable_path=driver_path) self.wait = WebDriverWait(self.driver, 10) @classmethod def from_crawler(cls, crawler): middleware = cls(crawler.settings.get('DRIVER_PATH')) crawler.signals.connect(middleware.spider_closed, signal=signals.spider_closed) return middleware def process_request(self, request, spider): self.driver.get(request.url) try: captcha = self.wait.until(EC.presence_of_element_located((By.XPATH, '//input[@name="captcha"]'))) captcha_input = input('请输入验证码:') submit_button = self.driver.find_element_by_xpath('//button[@type="submit"]') captcha.send_keys(captcha_input) submit_button.click() return HtmlResponse(url=request.url, body=self.driver.page_source, request=request, encoding='utf-8', status=200) except: return HtmlResponse(url=request.url, request=request, status=500) def spider_closed(self, spider): self.driver.quit() ``` 这个中间件使用了Selenium来模拟浏览器操作,当遇到反扒验证码时,会弹出提示框要求输入验证码,输入正确后点击提交按钮,返回处理后的响应。需要注意的是,Selenium的使用需要安装对应的浏览器驱动,这里使用了Chrome浏览器驱动。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值