web
文章平均质量分 74
KelvinChunggg
这个作者很懒,什么都没留下…
展开
-
Python爬虫自动化获取华图和粉笔网站的错题
基于Python的粉笔和华图网站错题爬虫粉笔网站华图网站总结这篇博客对于考公人或者其他用华图或者粉笔做题的人比较友好,通过输入网址可以自动化获取华图以及粉笔练习的错题。粉笔网站我们从做过的题目组中获取错题打开某一次做题组,我们首先进行抓包看看数据在哪里我们发现现在数据已经被隐藏,事实上数据在这两个包中:https://tiku.fenbi.com/api/xingce/questionshttps://tiku.fenbi.com/api/xingce/solutions一个为题目的一原创 2021-01-07 16:35:20 · 3287 阅读 · 14 评论 -
使用Python爬取51job招聘网的数据
使用Python爬取51job招聘网的数据进行网站分析获取职位信息存储信息最终代码进行网站分析进入https://www.51job.com/这个网站我在这就以python为例搜索职位跳转到这个页面按F12进行查看每个职位的信息在哪个包中我们点进这个包中搜索发现这组数据在Script标签中,类似于json数据,同时发现其链接的URL的键值为job_href我们可以写一个正则表达式来获取这些url方便后续获取信息,同时我们也发现这些url其实是被简单修改过的,我们需要用re.sub处理一下原创 2020-08-06 16:49:21 · 4279 阅读 · 3 评论