Task4：综合实践

一、学习背景

小张是某高校管理学研究生，在毕业课题中需要采集boss直聘武汉地区的相关数据，而小张同学因为是人文科学背景没有接触过爬虫，在网上搜索很多资料后，现在她找到你希望你帮她采集boss直聘网的相关数据，你应该怎么做呢？

boss直聘武汉地区网站：https://www.zhipin.com/wuhan/

二、学习过程

根据前几期所学知识和自己查阅的相关八爪鱼知识，采取下面几种方法进行操作训练。（操作过程中因为卡顿等原因，视频中出现中止情况，为节省时间，只在中断的地方将操作步骤续录上）

1.自动识别网页

2、列表页进入详情页

3.翻页以采集多页数据

三、练习与思考

1.在数据采集过程中，频繁访问网页会引发反爬虫机制，如何规避这样的问题？

学习链接中：针对Boss直聘对ip进行验证的情况，可以对打开网页这一步骤中的重试部分进行设置，从而在一定程度上对反爬虫的绕过

我认为：可以通过设置访问的间隔时间或者人为避免多次重复同一类操作规制反爬虫问题。爬虫虽然给我们学习者整理数据提供很大的方便，但是事实上会拖慢其网站的运行速度，严重者会造成一定的信息安全问题。当我们高频率重复一系列爬虫动作时，网站系统会监测到非人为操作，因此会引发反爬虫机制。

2.对于boss直聘的数据采集中，你觉得哪些信息字段是比较重要的？

职位，薪资，招聘条件（学历，专业等），公司概况

四、参考链接

以上学习内容分享均来自网站

参考链接：team-learning-program/4.综合实践-boss直聘信息采集.md at master · datawhalechina/team-learning-program · GitHub