介绍
原始的Jsoup爬虫框架使用起来可能比较繁琐,特别是在进行封装对象、级联封装对象(表中表)的时候,常见的做法是针对每个对象编写解决方法。
该框架的作用是减少公共代码,简化操作,不重复造轮子,只需要在类和字段上添加一个的注解,就可以把爬取的内容封装成一个对象,并提供常用的功能,可以基本满足日常的需求。
框架功能:
1、支持爬取文本、HTML、任意标签的属性,并提供分页爬取方法。
2、提供完全匹配、包含、字符串替换、>、<、=等筛选功能。
3、提供自动封装对象、自动封装List集合、级联爬取(表中表)功能
4、提供爬取图片保存到指定目录功能,同时可以自定义图片格式。
涉及技术
反射、IO、Jsoup、自定义注解、DCL单例
安装教程
将这个jar包拷贝到你的项目中即可 码云地址
使用说明
详细api见下个title
1、爬取单一对象
步骤:
a、在实体类对象和字段上添加注解
b、执行
结果如下:
2、爬取List集合
步骤:
a、在实体类对象和字段上添加注解(跟上面相同)
b、执行(注意传递的是List)
结果如下:
3、爬取并保存图片
以爬取jd商城的商品列表为例
步骤
a、在实体类对象和字段上添加注解
b、执行
结果:
PS:完整demo请转到码云进行查看。
4、级联爬取(表中表)
步骤
a、添加注解
b、执行方法
结果:
5、对结果进行过滤
需求:筛选出博客中标题包含 “使用” 这个字符 且阅读数量大于100的博客
a、添加注解
b、执行
结果:
详细Api说明
@JsoupDocment: 标注在实体类或字段上
- 若标注在类上:表示该类为爬虫填充实体对象
- 标注在字段上:表示该字段为另外一个实体对象
属性 | 说明 |
---|---|
targetUrl | 爬取网站的url |
domain | 目标网站的首页,有时候需要拼接url,若targetUrl不存在则以这个为准 |
cssQuery | css选择器,注意是一个封装实体的css选择器,不加则表示爬取整个页面 |
subHrefByCss | 仅级联爬取时使用,会从该选择器的href属性指定的url去爬取,一般为a标签 |
subHrefByField | 仅级联爬取时使用,从类中的字段上获取url去爬取 |
urlPrefix | 仅级联爬取时使用,有时候级联爬取网站时可能是相对路径,可以通过该属性执行前缀,默认拼接domain属性的值,注意:若是以http开头url则不会添加该前缀 |
@JsoupField: 只能标注在字段上,
注意:该字段的类所在必须含有@JsoupDocment注解
属性 | 说明 |
---|---|
cssQuery | 将指定选择器的中值注入到这个字段上,注意:这是基于JsoupDocment注解指定的css选择器的 |
textType | 是获取text还是html,ExtractTextType枚举值,默认JsoupTextType.TEXT |
attr | 指定从属性上爬取,如src,若指定该值则textType属性将不起作用 |
replaceTarget | 字符串替换功能,要替换的目标字符串,默认替换为空字符串,可通过replaceRes指定替换为指定字符串 |
replaceRes | 要替换成的目标字符 |
isInteger | 字符是否需要转换为Integer类型,默认false |
imgSaveAttr | 仅在保存图片时使用,指定从img标签的哪个属性上爬取图片,注意:若要保存图片,该属性必须指定 |
imgSavePath | 图片保存位置,imgAttr属性存在时生效,默认保存在user.dir(当前项目路径) |
imgFormat | 保存文本时图片格式,ImgType枚举值,默认为ImgType.PNG |
filterStrByEquals | 字符串筛选时使用,完全匹配 |
filterStrByContain | 字符串筛选时使用,是否包含指定字符串,当filterByEquals也存在时以filterByContain为准 |
filterIntByEq | 筛选数字,=,仅当isInteger为true时生效,判断顺序:大于 、小于、等于 |
filterIntByGt | 筛选数字,<,仅当isInteger为true时生效,判断顺序:大于 、小于、等于 |
filterIntByLt | 筛选数字,<,仅当isInteger为true时生效,判断顺序:大于 、小于、等于 |
execute方法:
核心方法,用来执行该框架并获取结果
方法 | 说明 |
---|---|
public Object execute(Object obj,Class<?> clazz) | obj:返回值类型,clazz:实体的class |
public Object execute(Object obj,Class<?> clazz,String url) | url:爬取的url,忽略@JsoupDocment注解指定的url ,在分页爬取时可使用 |