PYTHON 爬虫测试题（面试必备）

爬虫测试题（面试必备）

1.简述一下爬虫的步骤
答案:
    1. 确定需求（人）
    2. 确定资源（人）
    3. 通过URL获取网站的返回信息（爬虫）
    4. 定位数据（爬虫）
    5. 存储数据（程序）

2.遇到反爬机制怎么处理
答案:
    反爬机制（headers）：
      1. 判断User-Agent
      2. 判断Referer
      3. 判断Cookie
    如果以上操作还是没有成功爬取页面，就用将浏览器中的全部头信息放进来
    注意:如果把全部headers拿过来的话记得把Accept-Encoding: gzip, deflate注释掉

3.Http与Ht