python爬虫—房地产—“安居客”的几个问题解决

在爬取安居客网站时,遇到数字加密和请求限制问题。通过安装特定库,解析解密代码实现数字解密,并讨论了因频繁访问导致的IP封禁问题,提出使用selenium+chromedriver作为解决方案,虽然安装复杂、速度慢,但能有效绕过反爬策略。
摘要由CSDN通过智能技术生成

在爬取“安居客”网站时,本人主要遇到了2个问题:
1.网页数字加密在这里插入图片描述
在这里插入图片描述
在浏览器里点击检查后,网页中显示数字的地方,在源代码中显示为加密后的乱码。
2.爬取部分内容后,requests无法访问报错。在这里插入图片描述
这个报错,我在网上搜索了很多解决办法没有用(应该是访问过多,ip被封的原因)

解决方法
1.解密
(1)安装并倒入这几个库

from io import BytesIO
from fontTools.ttLib import TTFont
import base64

(2)从网页源代码中找到用于解码的代码在这里插入图片描述
图中从bs4,之后到’)之间的内容,采用正则方式

import re

bs64_str = re.findall("charset=utf-8;ba
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值