为了不浪费大家的时间,防止大家沉迷而导致荒废,大家可以按需观看,毕竟第一次写博客,字数有点多内容有点杂。
重点内容
爬虫原理(个人理解)
网页的编写是有规律的,我们爬取资源的时候应该按照规律去进行一些判定,从而筛选出我们想要的部分。
怎么爬取
现在的网站都是多层的结构,我们经常需要在每一层获取需要的资源,或者是到最下层获取资源,以上重点理解
举个例子,比如我要爬取豆瓣里面小组前50页帖子的照片(现学现用)因为帖子的上层是分页,所以完成需求就得获取前50页的链接,然后进入每一个分页中找到每个帖子的链接,在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。
底层逻辑
如何通过一个链接得到链接网址的静态页面?怎么从静态页面中得到所需的标签?怎么从得到的标签内获取所需的内容?详细步骤在2.2中。
先简单说明事情的起因经过吧
- 准大四狗在网课中空虚而
裸面找工作的作死路程。 - 找的是后端开发c#,在校期间学的纯java,但是自我感觉良好,所以。。。
- 面试共有4轮,一轮网面,二轮考基础,先为自己点个赞,题目都会,就是自己时间没安排好(下面详说),导致解题总有一些小问题。
- 故事的悲伤发生在第三面,要求是在第二天的上机考核中实现一个爬虫,
求一个只停留在听过爬虫的狗子的心理阴影面积
那我们就开始正题吧![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e2f3befef69c3ee7ff876311355b2dd2.png)
在一顿猛如虎的操作中,我成功进入了最终面,题目简单抽象就是爬取豆瓣一个小组中的照片,并按照帖子标题+发布时间+文件大小保存到硬盘制定文件夹内。
首先因为是隔天考,当天中午才到深圳,下午面试,晚上找房子,所以到上机那一刻,我都是一个新鲜的 无知萌新。
- 早上九点开始上机,从毫无头绪到找到思路用了4小时。
- 下午一点开始码到五点大致完成。
- 目前重新复盘一下快速学习的方法论,期望从中提取出有价值的快速学习方法。
1.上机后的四小时我都做了啥子!?!
首先作为一个只学过原生java和平常只刷刷Leecode没做过项目的人来说,这四小时注定没有答案。
人的思维是跳跃联想不连续的,除非刻意才能表现出逻辑性。所以以下的内容我将尽量的展现我思考的原始面貌,以期待能为大家提供帮助。
1.1安装需要的工具
在上机后的第一件事就是下载JDK和eclipse,毕竟其他都。。。
这是第一个痛点:大学教育的脱节导致在我说明我用的是eclipse的时候,我迎来了惊叹“这应该是老一辈人才还在用的了”
都是小问题。。。我们继续
首先重申一下,只学过原生java,什么框架spring,数据仓库maven都不会用。。。
1.2查询如何进行爬虫
1.2.1maven+框架
在我猴急的一顿“Java爬虫”中,度娘为我提供了热情的服务,在度娘的服务中我知道了可以用一些GitHub上面优秀的框架来完成爬虫,简单快捷又方便, 哇呜~好吧我看不懂,你的热情又打了水漂。
1.2.2可以只用maven不用框架
在我第二次提裤上阵的时候,度娘再次热情的接待了我,这次我的需求是“Java爬虫无框架!!!”,在这次度娘的狂热服务中,我索取了近十多次。。。网页。最终明白了爬虫不是非得用框架,可以用maven自动导包,用原生java就能解决问题。
说干就干,查询了maven的安装使用教程后,我经历了两个小时的入门到放弃。
怪不得,怪不得,这特么对第一次太不友好了,怪不得eclipse会被嫌弃,这波操作果断劝退了我。
####1.2.3 原生java就能搞定,需要就百度下载包然后导包
在我扶着墙最后一次走近度娘时。。。。我终于悟了。
不会maven就不会嘛,反正自己不会就下载包不就得了。。。这才是啥子都不会的雏,也就是我的正确操作。
2.进入本次的高潮,说说我是怎么通过原生java和简单的导包完成一次爬虫的操作
建议先看完第四步再从第一步开始,不然出错别找我
2.1第一步,分析并归纳步骤
首先既然不准备选择框架,自己手撕就意味着需要自己整理逻辑,并得到一个可行的解决方案。
2.1.1分析题目需求
题目需要我们对一个网站进行爬取图片并保存到本地的一个操作,我们就可以采用分治法把这个大问题分解,从而得到我们所能解决的小问题,再最终整合得到这个问题的答案。
第一个问题,怎么爬取资源?第二个问题,爬取后的资源怎么保存到本地?
上机后的四小时注定不是无用功,虽然没学过爬虫,但是爬取资源的操作大致就了解了。
2.1.2爬虫的原理
网页的编写是有规律的,我们爬取资源的时候应该按照规律去进行一些判定,从而筛选出我们想要的部分。
按照这个原理我们就可以可以把爬取这个问题再细分。
2.1.3怎么爬取
现在的网站都是多层的结构,我们经常需要在每一层获取需要的资源,或者是到最下层获取资源,以上重点理解。
举个例子,比如我要爬取豆瓣里面小组前50页帖子的照片(现学现用)因为帖子的上层是分页,所以完成需求就得获取前50页的链接,然后进入每一个分页中找到每个帖子的链接,在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。
下面是具体子问题
- 获取前50个分页的链接
- 由一个分页链接得到分页内所有帖子的链接
- 由帖子的链接得到帖子内所需图片的链接
2.1.4怎么保存到本地
每张图片的链接打开后即是一个下载路径,我们用java打开后,用IO流传输到本地即可。
2.2第二步,逐步完成所需方法
通过第一步我们得到我们需要实现的四个方法
- 爬取前50分页链接
每个网站的分页一般网站的target值会不一样,修改网址的target值就可以得到每个分页的网址链接 - 爬取单个分页内帖子的链接
分页贴子一般是通过表格实现的,而且帖子的class属性名都是一样的,通过筛选class属性即可得到每个贴子的网址。 - 爬取帖子里图片的链接
同上,贴子中的图片的class值往往都是相同的,也可以通过class值筛选需要的图片链接。 - 通过图片链接保存到本地的io流方法
要实现以上方法,我们需要解决下面的问题,当完成下面的问题,这些方法就都能迎刃而解。
问题来了:如何通过一个链接得到链接网址的静态页面?怎么从静态页面中得到所需的标签?怎么从得到的标签内获取所需的内容?
三个问题一次解决
下面的代码的功能是找到url(网址)内class标签为title的第一个子标签属性href的值,保存在集合中。
重点中的重点!!这个代码块就是爬虫的核心
百度下载 这个包jsoup-1.7.2.jar,导包教程百度有
import java.util.ArrayList;
import java.io.*;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
//集合保存获取到的数据
ArrayList<String> arrayURL = new ArrayList();
String url = "在这输入你要查的网址";
String title = "在这输入你要查找的标签的class属性的值";
try {
//获取url网址
Document doc= Jsoup.connect(url).get();
Elements items = doc.getElementsByClass(title);
for (Element e : items) {
//获取标签的内容
//e.val();
//获取标签的子标签, i 为位置
//e.child(i);
//获取标签内属性的值,s为属性名称
//e.attr(s);
arrayURL.add(e.child(0).attr("href"));
}
} catch (IOException e) {
e.printStackTrace();
}
通过以上代码再结合问题就能做出一个简单的爬虫了,我的问题的具体代码就不贴出了,毕竟网站不同没有参考性。但是这个方法是切实有效的。
2.3第三步,调用方法完成爬虫
以我的问题为例子:将特定豆瓣小组里面的前50页帖子的图片保存到本地。
我的步骤是先得到第一页的网址,对比和第二页的网址发现target值不一样,修改target值就得到前50页的链接
每个分页里面的帖子的class值我查看了网页的html后发现都为title,所以通过上面代码块的方法得到了每个分页的帖子的链接,遍历50个分页得到50个分页内所有帖子的链接。
进入帖子之后,通过多个帖子的比对,我也发现了帖子里面图片的class值是相同的,同上就可以获取到每个图片的链接。
每次获取到一个图片的链接后,通过IO流进行本地保存,具体的话百度挺多的,就不贴出了,有点懒了。
2.4第四步,完成工作并放弃治疗
在很嗨的保存了4000张图片后,正式宣布我的IP被封了,因为爬太凶了。。。这不能怪我啊,我之前又没爬过
怎么知道还有这骚操作,各位引以为戒,为了表达我的悔改之意,我准备献出我珍藏多年的另一个代码
`imeUnit.MILLISECONDS.sleep(5000); //毫秒级延时请求,反反爬
直接让子弹多飞一会就行了,5秒抓取一个网页你还能封我??
当然具体应该放哪里合适就请各位老司机自行掌握了,当然在爬虫过程中可能有时会出现格式乱码现象,这时就得。。。。自己百度了我没事,嘿嘿嘿
3.总结
大学期间不能只停留在完成学习的任务上,或者参与暑期实习了解社会现象,或许上Leecode刷题加强底蕴,或许上GitHub参与开源项目积累经验。
最后,写代码前拜雍正。