java spider爬虫_Java网络爬虫实操（2）

本篇文章继续介绍爬虫框架NetDiscovery的使用：如何发重复请求、如何用爬虫容器引擎驱动爬虫程序

1 )重复请求的场景举例

从2017年下半年开始，比特币、数字货币、虚拟币、区块链技术、去中心化等等新名词频频出现在媒体上，让人不想看到都很难

(本篇文章不研究数字货币是不是未来的发展方向)

风险提示：炒币有风险，入市需谨慎

数据货币信息平台

找了一个数字货币的聚合信息平台，上面会定时刷新每种货币的价格。如果要写一个有实际价值的抓数据程序，那肯定希望这个程序能重复执行抓数据的动作吧。

目标任务：每隔一段时间去获取这个页面上的数字货币【EOS】的价格信息

一种数字货币的价格信息

2 )代码实现

解析类

package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;

import com.cv4j.netdiscovery.core.parser.Parser;

public class EosParser implements Parser {

@Override

public void process(Page page) {

String xpathStr = "//div[@class='coinprice']/text()";

String marketPrice = page.getHtml().xpath(xpathStr).get();

System.out.println("marketPrice=" + marketPrice);

}

}

执行方法

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;

import com.cv4j.netdiscovery.extra.downloader.httpclient.HttpClientDownloader;

import com.sinkinka.parser.EosParser;

public class EosSpider {

public static void main(String[] args) {

String eosUrl = "https://www.feixiaohao.com/currencies/eos/";

long periodTime = 1000 * 600;

Spider.create()

.name("EOS")

.repeatRequest(periodTime, eosUrl)、

//下面这行代码要注意，要设置>=periodTime，想了解具体作用，可以去分析源代码

.initialDelay(periodTime)

.parser(new EosParser())

.downloader(new HttpClientDownloader())

.run();

}

}

执行结果

演示数据

3 )爬虫容器引擎

数字货币有几百上千种，每种货币信息都在单独的页面上，如果要同时获取多种数字货币的信息，怎么处理？

依赖框架，有一种实现方法是：给每种数字货币定义一个爬虫程序，然后把爬虫程序放到容器里，统一交给爬虫引擎去驱动。

代码示例：

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;

import com.cv4j.netdiscovery.core.SpiderEngine;

import com.cv4j.netdiscovery.extra.downloader.httpclient.HttpClientDownloader;

import com.sinkinka.parser.EosParser;

public class TestSpiderEngine {

public static void main(String[] args) {

//爬虫容器引擎

SpiderEngine engine = SpiderEngine.create();

//爬虫程序1

String eosUrl = "https://www.feixiaohao.com/currencies/eos/";

long periodTime1 = 1000 * 5;

Spider spider1 = Spider.create()

.name("EOS")

.repeatRequest(periodTime1, eosUrl)

.parser(new EosParser())

.downloader(new HttpClientDownloader())

.initialDelay(periodTime1);

engine.addSpider(spider1);

//可以增加多个爬虫到容器中,

// engine.addSpider(spider2);

// ......

engine.httpd(8088); //这一行要注意，通过接口可以获取访问爬虫容器内的状态

engine.runWithRepeat();

}

}

{

"code":200,

"data":[

{

"downloaderType":"HttpClientDownloader", //用的哪个下载器

"leftRequestSize":0, //队列中还剩的request数量

"queueType":"DefaultQueue", //队列类型：jdk(DefaultQueue)、redis、kafka

"spiderName":"EOS", //爬虫的名字，在引擎里唯一

"spiderStatus":1, //1:运行 2：暂停 4：停止

"totalRequestSize":1 //加入到队列中的request总数量，减去上面的leftRequestSize，等于该爬虫已经完成的重复请求次数

}

],

"message":"success"

}

4 )总结

本篇简单介绍了NetDiscovery中发重复请求这个功能。这就是框架的价值，如果不用框架，自己再去实现的话，要多写一些代码的。

爬虫引擎还有很多功能，敬请期待。

今天是西方情人节，祝天下有情人节日快乐！

祝大家身体健康、家庭和睦、工作顺利！