python网络爬虫--反爬（7）

服务器常见反爬虫策略

• 验证用户身份
  • User-Agent
  • 应对方案
    • 爬虫在请求头中添加就可以了
• 验证登陆身份
  • Web浏览器中cookie
  • 专用终端 token
  • 其实就是名字不一样
  • 应对方案
    • 获取登陆后的cookie来使用
• 频率反爬
  • 30秒之内搜索一次
  • 1分钟之内只能浏览10次
  • 应对方案
    • 降低频率，随机休眠
    • 频率统计策略
      • ip
        • 切换ip
        • 代理
          • 代理池
            • 买
      • cookie
        • 切换cookie
        • cookie池
          • 买
            • cookie
            • 账号
      • 根据设备信息自己生成的一个唯一标识
        • 研究生成规则
        • 换User-Agent
        • UA池
          • 自己写个代码生成
• 验证码
  • 应对策略
    • 简单的图片识别库
    • 打码平台
    • 人工打码

import requests

url = 'http://www.ip111.cn/'
proxies = {
    'https':'171.35.146.114:9999'
}
response = requests.get(url,proxies=proxies,)  # proxies为代理
response.encoding='utf-8'
print(response)
print(response.text)