面试中现学现用的第一个爬虫程序(原生java+手动导包)
为了不浪费大家的时间,防止大家沉迷而导致荒废,大家可以按需观看,毕竟第一次写博客,字数有点多内容有点杂。重点内容爬虫原理(个人理解)网页的编写是有规律的,我们爬取资源的时候应该按照规律去进行一些判定,从而筛选出我们想要的部分。怎么爬取现在的网站都是多层的结构,我们经常需要在每一层获取需要的资源,或者是到最下层获取资源,以上重点理解举个例子,比如我要爬取豆瓣里面小组前50页帖子的照片(现学现用)因为帖子的上层是分页,所以完成需求就得获取前50页的链接,然后进入每一个分页中找到每个帖子的链接,在每个
原创
2020-06-06 08:03:40 ·
311 阅读 ·
0 评论