软考试题希赛网爬取过程分享一

作为开发人员，不论出于什么原因，都是有需求才有功能，才有我们描绘蓝图的机会或动力

承接上篇【python爬取软考每日一练试题存入数据库】的源码分享，这次着重开发思路和过程

爬取试题的起因（可略过）

之前总以为即使没有较高的学历，有能力，有学习力就可以了。可是，实际情况，当作为父母后，面临孩子上学，要积分的硬性要求，我又踏上了考试的征途。软考，作为码农，说这是对我们的赏赐都不为过。利用碎片化时间去刷试题，于是找到了希赛网的每日一练，但是，对我而言不太方便，于是有了爬取试题的冲动

目标网页分析【流程】

1、选择你感兴趣的科目，做一套每日一练的考试模式的试题，然后提交，跳转到试题分页页面。这个流程下来，试题分析页面就是我们最终要的数据包含试题、答案、分析。

2、我感觉爬取数据，定位目标数据是第一步，也是整个python运行结果后的最后一步。按照访问页面层层递进，得到：科目每日一练列表，有分页-》开始做题（继续做题）-》选择考试模式-》点击我要交卷-》每日一练试题分析列表

目标网页列表数据分析

++打开https://www.educity.cn/tiku/dp100110011003-1.html列表页面++

多次点击分页对比url变化：