爬虫常见问题与解决方法

• 若在爬虫中出现中文乱码的问题

  • 通过设定requests的编码格式
    • requests.get(url,).encoding=‘utf-8’
  • 通用中文编码乱码的解决方案
    • name=name.encode(‘iso-8859-1’).decode(‘gbk’)

• 应对反爬机制

  • 代理
    • 代理网站：
      • 快代理
      • 西祠代理
      • www.goubanjia.com
    • 代理ip的匿名度
      • 匿名：知道使用了代理，不知道真实ip
      • 透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
      • 高匿：不知道使用了代理，不知道真实ip
    • requests.get(url,proxies={“http/https”:“代理ip”})
  • 设置UA
    • 可导入UA库： fake_useragent
    • 每次访问设置不同的UA请求，伪装成真人请求
  • 设置睡眠时间
    • 导入time.sleep
    • sleep(5)

相关的使用方法与规避技巧可参照：
爬取GitHub开源项目 进行学习
相关视频讲解可观看：
- 安装与配置视频教程
- 相关工具包的使用与反爬机制绕过
- 反爬机制破除-UA伪装与代理配置
- 图片懒加载的破除–selenium的引入
- 爬虫实战-爬取免费代理网站
- 常见的反爬机制