weixin_47031384的博客

原创 面试中现学现用的第一个爬虫程序（原生java+手动导包）

为了不浪费大家的时间，防止大家沉迷而导致荒废，大家可以按需观看，毕竟第一次写博客，字数有点多内容有点杂。 重点内容 爬虫原理（个人理解） 网页的编写是有规律的，我们爬取资源的时候应该按照规律去进行一些判定，从而筛选出我们想要的部分。 怎么爬取 现在的网站都是多层的结构，我们经常需要在每一层获取需要的资源，或者是到最下层获取资源，以上重点理解 举个例子，比如我要爬取豆瓣里面小组前50页帖子的照片（现学现用）因为帖子的上层是分页，所以完成需求就得获取前50页的链接，然后进入每一个分页中找到每个帖子的链接，在每个