本次爬取以Java面经为例,学会的小伙伴可以按照规律爬取牛客任意面经
教学
进入Java面经区,打开控制台刷新请求
可以发现,发送浏览器中的URL,得到的响应内容是没有面经的,那么面经的数据从何而来???不要着急,那么多请求我们接着看!
往下滑,可以看见带json的请求,经验告诉我就是这个请求
复制该URL,我们去浏览器请求该URL,可发现我们得到了面经的数据
但是,面经是JSON格式,我们可以复制到在线json解析工具去查看,如下
可以看到data下的discussPosts下保存着所有的帖子即面经信息
但是这个json不像我以前见到的,这个json串没有直接保存帖子详情页的URL,但是我们可以提供过访问路径发现规律
可以看见访问路径有个675866,就是对应json串中的postId,而后面的参数是可以省略的
小技巧
想必单页面经是肯定不能满足各位小伙伴的,那么如果进行多页爬取呢,不要着急,我来为大家总结规律,也希望小伙伴们能一键三连哦!!!
一样的套路,如下图是C++区域的面经JSON字符串,应该不用我多教了吧
完整代码
⭐需要的私信我⭐
结果展示
最后
我是 Code皮皮虾,一个热爱分享知识的 皮皮虾爱好者,未来的日子里会不断更新出对大家有益的博文,期待大家的关注!!!
创作不易,如果这篇博文对各位有帮助,希望各位小伙伴可以一键三连哦!,感谢支持,我们下次再见~~~
分享大纲
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。