字体反爬案例分析与实战

本文探讨了处理JavaScript渲染网站时遇到的字体反爬问题,通过分析CSS伪节点和使用正则表达式,成功从网页内容中提取评分数据。案例展示了如何解析并整合信息,最终获取电影名称、类别及评分。
摘要由CSDN通过智能技术生成
  1. 今天让我们一起来看遇到字体反爬时的处理
    练习网址字体反爬联系网址
    这是一个JavaScript渲染的网站,所以我们要用到的工具有chrome浏览器,和selenium库先尝试一下爬取我们想要的数据看看有哪些问题:
# 导入第三方库和模块
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from scrapy import Selector
from selenium.webdriver import ChromeOptions

# 设置浏览器选项为无头模式
option = ChromeOptions()
option.add_argument('--headless')
browser = webdriver.Chrome(options=option)
# 访问网址
browser.get('https://antispider4.scrape.center/')
# 设置网页请求等待时间,如果超时都没找到我们想要的元素就会报出异常
WebDriverWait(browser, 10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, '.item')))
# 获取网页响应内容
html = browser.page_source
# 解析网页
selector = Selector(text=html)
items = selector.css('.item')
for item in items:
    name = item.css('.name h2::text').extract_first()
    categories = item.xpath('//button[contains(
  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

guizhouspiderman

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值