爬虫-网站地址及反爬机制

爬虫-网站地址及反爬机制

1.安居客:https://cd.zu.anjuke.com/fangyuan/wuhou/x1/ - requests

2.贝壳找房:https://cd.zu.ke.com/zufang/#contentList - requests

3.腾讯视频:https://v.qq.com/ - 字体反爬

4.酷狗音乐:https://www.kugou.com/ - requests

5.起点小说:https://www.qidian.com/ - 待定(看不懂)

6.抖音视频:https://www.douyin.com/ - 看不懂

7.小红书:https://www.xiaohongshu.com/ - 好像是requests

8.汽车之家:https://www.autohome.com.cn/beijing/ - requests

9.哈罗摩托:https://www.jddmoto.com/ - requests

10.驾考宝典:https://www.jiakaobaodian.com/ - requests

11.高夫:https://www.jahwa.com.cn/gf - 报错,不知原因

12.碧桂园官网:https://www.bgy.com.cn/ - requests

13.中国移动:http://www.10086.cn/index/sc/index_280_280.html - 字体反爬

14.一加手机官网:https://www.oneplus.com/cn - 字体反爬

15.中国农业银行:https://www.abchina.com/cn/ - 字体反爬

  1. 天涯社区:http://focus.tianya.cn/ - 字体反爬
  2. 华为官网:https://www.vmall.com/index_new.html - 字体反爬
  3. 4399游戏:http://www.4399.com/ - 字体反爬
  4. 前程无忧:https://www.51job.com/ - 字体反爬
  5. BOSS直聘:https://www.zhipin.com/chengdu/ - user-agent
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python网络爬虫在爬取网页数据时,常常会遇到反爬机制。为了防止被爬虫程序大量访问,网站会采取一些措施来限制爬虫的访问。以下是一些常见的反爬机制和对应的应对方法: 1. 验证码:网站可能会在登录、提交表单或访问频率过高时出现验证码。爬虫需要通过识别验证码来继续访问网站。常见的验证码识别方法有使用第三方库(如Tesseract、Pillow)进行图像处理和识别,或者使用打码平台(如云打码、超级鹰)进行自动识别。 2. User-Agent检测:网站可能会通过检测请求头中的User-Agent字段来判断是否为爬虫。为了应对这种反爬机制,可以使用随机的User-Agent来模拟不同的浏览器和操作系统,使爬虫看起来更像是真实用户的访问。 3. IP封禁:网站可能会根据IP地址来限制爬虫的访问。为了应对IP封禁,可以使用代理IP来隐藏真实IP地址,或者使用动态IP池来定期更换IP地址。 4. 请求频率限制:网站可能会限制同一IP地址的请求频率,如果请求过于频繁,可能会被封禁或返回错误信息。为了应对频率限制,可以在爬虫程序中设置合理的请求间隔时间,或者使用分布式爬虫来分散请求。 5. 页面解析:网站可能会对页面结构进行加密或混淆,使爬虫难以解析页面内容。为了应对这种情况,可以使用第三方库(如BeautifulSoup、Scrapy)来解析页面,或者使用正则表达式来提取所需数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值