使用webmagic构建一个分布式的爬虫

最新推荐文章于 2022-07-12 15:23:33 发布

weixin_33800463

最新推荐文章于 2022-07-12 15:23:33 发布

阅读量486

点赞数

文章标签：爬虫数据库 java

原文链接：https://my.oschina.net/flashsword/blog/146890

版权

2019独角兽企业重金招聘Python工程师标准>>>

之前说过，使用webmagic的架构，很容易就可以通过扩展Scheduler构建一个分布式的爬虫。参考淘宝官方博客的文章快速构建实时抓取集群，构建了一个基于redis的分布式爬虫实现，代码如下：

<!-- lang: java -->
public class RedisScheduler implements Scheduler{

    private JedisPool pool;

    private static final String QUEUE_PREFIX = "queue_";

    private static final String SET_PREFIX = "set_";

    public RedisScheduler(String host){
        pool = new JedisPool(new JedisPoolConfig(), host);
    }

    @Override
    public void push(Request request, Task task) {
        Jedis jedis = pool.getResource();
          //使用SortedSet进行url去重
        if (jedis.zrank(SET_PREFIX+task.getUUID(),request.getUrl())==null){
            //使用List保存队列
            jedis.rpush(QUEUE_PREFIX+task.getUUID(),request.getUrl());
            jedis.zadd(SET_PREFIX+task.getUUID(),System.currentTimeMillis(),request.getUrl());
        }
    }

    @Override
    public Request poll(Task task) {
        Jedis jedis = pool.getResource();
        String url = jedis.lpop(QUEUE_PREFIX+task.getUUID());
            if (url==null) {
                return null;
            }
        return new Request(url);
    }
}

转载于:https://my.oschina.net/flashsword/blog/146890