android 爬虫 简书,android利用正则设计的爬虫工具

android利用正则设计的爬虫工具

看过Jsoup之类的爬虫工具，觉得不太简洁，因为有时候爬虫并不需要爬大量数据。平时自己也是用正则匹配来爬取网页上的一些内容，还觉得挺方便。这几天把自己的这种抓数据策略封装了一下，感觉还挺好用的，分享一下。

因为是临时想到的，所以封装的时间也不多，很多地方也没想

github地址(里面有demo)觉得有用希望点个赞哦~有问题或者建议请提出来，有时间立即改善。

这里以新浪新闻为例，抓取网页中所有新闻的图片链接和标题

为了体现这个工具的简单粗暴，这里先把关键代码展示出来O(∩_∩)O

MyRegex myRegex = new MyRegex();

//开启log输出

myRegex.setIsLog(true);

//https://sina.cn/?vt=3是手机版的链接

//电脑版网页涉及多种正则，由于赶时间懒得写代码了O__O "…

myRegex.build("https://sina.cn/?vt=3", new MyRegex.BuildCallback() {

@Override

public void onFinish(MyRegex myRegex) {

//关键步骤就仅仅这三步

myRegex.RegexInclude("");//id == 1，先解析一部分

myRegex.RegexExcept("alt=\"","\"");//id == 2，解析标题

myRegex.RegexExcept("data-src=\"","\"",3,1);//id == 3，解析图片链接

//将解析后的数据保存在集合里使用

List titleList = myRegex.regexList.get(2);

List imgList = myRegex.regexList.get(3);

}

});

下面展示一下怎么具体地去设置这些参数

首先去链接里查看原始html，自己分析一下

1.png

2.png

发现所有的新闻有上面两张图两种格式。

观察这两种新闻的格式，不难发现，主体部分都是由< img(内容)/>包装的，我们需要获取这个包装，使用方法

myRegex.RegexInclude("");//第一次解析

就将包括标签在内的解析内容全部存放在了工具类中的集合里。

那么，保存在集合里第几个位置呢？

只需要看这是第几次解析就可以了，从1开始，每次解析保存的位置加一。

例如，如果我想保存这次解析的内容，那么用以下方法，括号内参数为解析的次数

List contentList = myRegex.regexList.get(1);

当然，现在拿到的数据并不是我们需要的，我们需要将这些数据再次解析。

这些数据的格式


我们需要得到data-src="(内容)"这里面的图片链接，并且需要得到alt="(内容)“这里面的标题。

之前的方法将会把外壳也一起匹配下来，所以不行，用Except方法

myRegex.RegexExcept("alt=\"","\"");//第2次解析，解析的标题

和前面的操作很像吧，还是把这外壳当做参数放进去，获取到了标题

最后需要获取图片链接

由于继续解析的话会解析上一次解析后的数据，所以这次解析的数据必须是第1次解析后的数据

使用这个方法

这里的第三个参数就是当前的解析次数。第四个参数是目标解析次数，这里我们需要解析第1次后的数据，所以填1

myRegex.RegexExcept("data-src=\"","\"",3,1);//第3次解析

最后保存数据

List titleList = myRegex.regexList.get(2);//将第2次的解析内容保存到标题集合

List imgList = myRegex.regexList.get(3);//将第3次的解析内容保存到图片地址集合

就这么就完成了，是不是很简单~