1.框架简介
AiPa 是一款小巧,灵活,扩展性高的多线程爬虫框架。
AiPa 依赖当下最简单的HTML解析器Jsoup。
AiPa 只需要使用者提供网址集合,即可在多线程下自动爬取,并对一些异常进行处理。
2.下载安装
AiPa是一个小巧的、只有390KB的jar包。
下载该Jar包导入到你的项目中即可使用。
jar包存放在Git,下载:AIPa.jar
3.如何使用
先来看下一个简单完整的示例程序:
必须实现的接口
<span style="color:#f8f8f2"><code class="language-none">public class MyAiPaWorker implements AiPaWorker {
@Override
public String run(Document doc, AiPaUtil util) {
//使用JSOUP进行HTML解析获取想要的div节点和属性
//保存在数据库或本地文件中
//新增aiPaUtil工具类可以再次请求网址
return doc.title() + doc.body().text();
}
@Override
public Boolean fail(String link) {
//任务执行失败
//可以记录失败网址
//记录日志
return false;
}
}</code></span>
main方法
<span style="color:#f8f8f2"><code class="language-none">public static void main(String[] args) throws InstantiationException, IllegalAccessException, ExecutionException, InterruptedException {
//准备网址集合
List<String> linkList = new ArrayList<>();
linkList.add("http://jb39.com/jibing/FeiQiZhong265988.htm");
linkList.add("http://jb39.com/jibing/XiaoErGuoDu262953.htm");
linkList.add("http://jb39.com/jibing/XinShengErShiFei250995.htm");
linkList.add("http://jb39.com/jibing/GaoYuanFeiShuiZhong260310.htm");
linkList.add("http://jb39.com/zhengzhuang/LuoYin337449.htm");
//第一步:新建AiPa实例
AiPaExecutor aiPaExecutor = AiPa.newInstance(new MyAiPaWorker()).setCharset(Charset.forName("GBK"));
//第二步:提交任务
for (int i = 0; i < 10; i++) {
aiPaExecutor.submit(linkList);
}
//第三步:读取返回值
List<Future> futureList = aiPaExecutor.getFutureList();
for (int i = 0; i < futureList.size(); i++) {
//get() 方法会阻塞当前线程直到获取返回值
System.out.println(futureList.get(i).get());
}
//第四步:关闭线程池
aiPaExecutor.shutdown();
}</code></span>
通过AiPa.newInstance()方法直接创建一个新的AiPa实例,该方法必须要传入 AiPaWorker 接口的实现类。