-
若在爬虫中出现中文乱码的问题
- 通过设定requests的编码格式
- requests.get(url,).encoding=‘utf-8’
- 通用中文编码乱码的解决方案
- name=name.encode(‘iso-8859-1’).decode(‘gbk’)
- 通过设定requests的编码格式
-
应对反爬机制
- 代理
- 代理网站:
- 快代理
- 西祠代理
- www.goubanjia.com
- 代理ip的匿名度
- 匿名:知道使用了代理,不知道真实ip
- 透明:服务器知道该次请求使用了代理,也知道请求对应的真实ip
- 高匿:不知道使用了代理,不知道真实ip
- requests.get(url,proxies={“http/https”:“代理ip”})
- 代理网站:
- 设置UA
- 可导入UA库: fake_useragent
- 每次访问设置不同的UA请求,伪装成真人请求
- 设置睡眠时间
- 导入time.sleep
- sleep(5)
- 代理
相关的使用方法与规避技巧可参照:
爬取GitHub开源项目 进行学习
相关视频讲解可观看:
- 安装与配置视频教程
- 相关工具包的使用与反爬机制绕过
- 反爬机制破除-UA伪装与代理配置
- 图片懒加载的破除–selenium的引入
- 爬虫实战-爬取免费代理网站
- 常见的反爬机制