Java爬虫-webMagic-Demo

最新推荐文章于 2024-08-14 22:12:35 发布
最新推荐文章于 2024-08-14 22:12:35 发布
阅读量497 收藏 2
点赞数
分类专栏： springboot 文章标签： java 爬虫 log4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44093802/article/details/125803566
版权

多级爬取

本案例基于springboot搭建的maven项目，由于我是存入了数据库，所以下面是存入数据库的配置，不需要的话，可自行更换数据保存位置。
webMagic中文官网，大家可自行深入学习。
第一步 导入依赖

	<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.3.RELEASE</version>
    </parent>
	<dependencies>
        <!-- Compile -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <!-- Test -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.8.2</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
		<!-- webmagic核心依赖 -->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.3</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
		<!-- lombok注解 -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
		<!-- 数据库连接 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>
    </dependencies>

第二步 配置爬虫入口

public static void main(String[] args) throws Exception {
     long startTime, endTime;
     System.out.println("========小爬虫【启动】喽！=========");
     startTime = new Date().getTime();
     Spider.create(new BlogPageProcessor()).addUrl(homeUrl).thread(5).run();
     endTime = new Date().getTime();
     System.out.println("========小爬虫【结束】喽！=========");
     System.out.println("一共爬到" + num + "条数据！用时为：" + (endTime - startTime) / 1000 + "s");
    }

第三步 创建实体类

@Data
public class BlogInfo {

    private String url;
    private String title;
    private String content;
    //以下字段没有用到
    private String author;
    private String readNum;
    private String recommendNum;
    private String blogHomeUrl;
    private String commentNum;
    private String publishTime; 
}

第四步 创建保存数据接口

public interface BlogDao {

    /**
     * 保存信息
     * @param blog
     * @return
     */
    public int saveBlog(BlogInfo blog);
}

第五步 创建保存数据接口实现类

public class BlogDaoImpl implements BlogDao{
    @Override
    public int saveBlog(BlogInfo blog) {
        DBHelper dbhelper = new DBHelper();
        StringBuffer sql = new StringBuffer();
        sql.append("INSERT INTO hot_weekly_blogs(url,title,author,readNum,
        recommendNum,blogHomeUrl,commentNum,publishTime,content)")
                .append("VALUES (? , ? , ? , ? , ? , ? , ? , ? , ? ) ");
        //设置 sql values 的值
        List<String> sqlValues = new ArrayList<>();
        sqlValues.add(blog.getUrl());
        sqlValues.add(blog.getTitle());
        sqlValues.add(blog.getAuthor());
        sqlValues.add(""+blog.getReadNum());
        sqlValues.add(""+blog.getRecommendNum());
        sqlValues.add(blog.getBlogHomeUrl());
        sqlValues.add(""+blog.getCommentNum());
        sqlValues.add(blog.getPublishTime());
        sqlValues.add(blog.getContent());
        int result = dbhelper.executeUpdate(sql.toString(), sqlValues);
        return result;
    }
}

第六步 创建数据库实例对象

public class DBHelper {
    public static final String driver_class = "com.mysql.cj.jdbc.Driver";
    public static final String driver_url = "jdbc:mysql://localhost/webmagic?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8&allowMultiQueries=true";
    public static final String user = "root";
    public static final String password = "123456";
    private static Connection conn = null;
    private PreparedStatement pst = null;
    private ResultSet rst = null;

    /**
     * Connection
     */
    public DBHelper() {
        try {
            conn = DBHelper.getConnInstance();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 单例模式
     * 线程同步
     *
     * @return
     */
    private static synchronized Connection getConnInstance() {
        if (conn == null) {
            try {
                Class.forName(driver_class);
                conn = DriverManager.getConnection(driver_url, user, password);
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
            } catch (SQLException e) {
                e.printStackTrace();
            }
            System.out.println("连接数据库成功");
        }
        return conn;
    }

    /**
     * close
     */
    public void close() {

        try {
            if (conn != null) {
                DBHelper.conn.close();
            }
            if (pst != null) {
                this.pst.close();
            }
            if (rst != null) {
                this.rst.close();
            }
            System.out.println("关闭数据库成功");
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }

    /**
     * query
     *
     * @param sql
     * @param sqlValues
     * @return ResultSet
     */
    public ResultSet executeQuery(String sql, List<String> sqlValues) {
        try {
            pst = conn.prepareStatement(sql);
            if (sqlValues != null && sqlValues.size() > 0) {
                setSqlValues(pst, sqlValues);
            }
            rst = pst.executeQuery();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return rst;
    }

    /**
     * update
     *
     * @param sql
     * @param sqlValues
     * @return result
     */
    public int executeUpdate(String sql, List<String> sqlValues) {
        int result = -1;
        try {
            pst = conn.prepareStatement(sql);
            if (sqlValues != null && sqlValues.size() > 0) {
                setSqlValues(pst, sqlValues);
            }
            result = pst.executeUpdate();
        } catch (SQLException e) {
            e.printStackTrace();
        }

        return result;
    }

    /**
     * sql set value
     *
     * @param pst
     * @param sqlValues
     */
    private void setSqlValues(PreparedStatement pst, List<String> sqlValues) {
        for (int i = 0; i < sqlValues.size(); i++) {
            try {
                pst.setObject(i + 1, sqlValues.get(i));
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
}

第七步 最重要的一步，抓取链接数据，分析数据内容，根据内容格式做解析
需要用到Xpath语法，参考：https://www.cnblogs.com/wendyw/p/11633588.html

public class BlogPageProcessor implements PageProcessor {
    //抓取网站的相关配置，包括：编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(10).setSleepTime(1000);
    //博文数量
    private static int num = 0;
    private static String homeUrl="https://geek-docs.com/";
    //数据库持久化对象，用于将博文信息存入数据库
    private BlogDao blogDao = new BlogDaoImpl();

    public static void main(String[] args) throws Exception {
        long startTime, endTime;
        System.out.println("========小爬虫【启动】喽！=========");
        startTime = new Date().getTime();
        Spider.create(new BlogPageProcessor()).addUrl(homeUrl).thread(5).run();
        endTime = new Date().getTime();
        System.out.println("========小爬虫【结束】喽！=========");
        System.out.println("一共爬到" + num + "条数据！用时为：" + (endTime - startTime) / 1000 + "s");
    }

    @Override
    public void process(Page page) {

            //输出抓取的页面内容
            String content1 = page.getHtml().get();
            System.out.println(content1);
            try {
                if (homeUrl.equals(page.getUrl().toString())){
                    /*实例化BlogInfo，方便持久化存储。*/
                    BlogInfo blog = new BlogInfo();
                    //抓取所有标题
                    List<String> all = page.getHtml().xpath("//div[@class='item']//a/text()").all();
                    for (int i = 0; i < all.size(); i++) {
                        String title = page.getHtml().xpath("//div[@class='item']//a/text()").all().get(i);
                        //url
                        String url = page.getHtml().xpath("//div[@class='item']//a/@href").all().get(i);
                        //博文内容，这里只获取带html标签的内容，后续可再进一步处理
                        String content = page.getHtml().xpath("//div[@class='item']//a/@title").all().get(i);

                        //对象赋值
                        blog.setUrl(url);
                        blog.setTitle(title);
                        blog.setContent(content);
                        num++;//数据条数++

                        System.out.println("num:" + num + " " + blog.toString());//输出对象
                        blogDao.saveBlog(blog);//保存抓取信息到数据库
                    }
                    //请求第二层数据
                    List<String> titles = page.getHtml().xpath("//div[@class='item']//a/text()").all();
                    List<String> titleUrls = page.getHtml().xpath("//div[@class='item']//a/@href").all();
                    for (int i = 0; i < titles.size(); i++) {
                        Request req =  new Request();
                        Item item = new Item(titles.get(i),titleUrls.get(i),null);
                        req.putExtra("item",item);
                        req.setUrl(titleUrls.get(i));
                        page.addTargetRequest(req);
                        page.addTargetRequest("");
                    }
                }else {
                    System.out.println("分栏数据html");
                }


            } catch (Exception e) {
                e.printStackTrace();
            }
    }

    @Override
    public Site getSite() {
        return this.site;
    }

}

class Item{
    private String itemTitle;//分栏标题
    private String itemUrl;//分栏url
    private Map<String,String> items;//分栏的博文 <标题,链接>

    public String getItemTitle() {
        return itemTitle;
    }

    public void setItemTitle(String itemTitle) {
        this.itemTitle = itemTitle;
    }

    public String getItemUrl() {
        return itemUrl;
    }

    public void setItemUrl(String itemUrl) {
        this.itemUrl = itemUrl;
    }

    public Map<String, String> getItems() {
        return items;
    }

    public void setItems(Map<String, String> items) {
        this.items = items;
    }

    public Item() {
    }

    public Item(String itemTitle, String itemUrl, Map<String, String> items) {
        this.itemTitle = itemTitle;
        this.itemUrl = itemUrl;
        this.items = items;
    }
}

最后 数据库创建语句

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for hot_weekly_blogs
-- ----------------------------
DROP TABLE IF EXISTS `hot_weekly_blogs`;
CREATE TABLE `hot_weekly_blogs`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `url` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `title` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `author` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `readNum` varchar(11) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `recommendNum` varchar(11) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `blogHomeUrl` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `commentNum` varchar(11) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '0',
  `publishTime` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `content` mediumtext CHARACTER SET utf8 COLLATE utf8_general_ci NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 240 CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = '爬取的信息存储表' ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;
每篇一句

没有醒不来的早晨，弄不懂的题目，熬不过的迷茫，只有你不敢追的梦。

呆萌小狼君
关注
专栏目录
java 网络爬虫demo_关于使用Java实现的简单网络爬虫Demo
weixin_36080584的博客
02-16 306
什么是网络爬虫？网络爬虫又叫蜘蛛，网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。所以要想抓取网络上的数据，不仅需要爬虫程序还需要一个可以接受”爬...
JAVA 爬虫框JAVA 爬虫框架webmagic 初步使用Demo架webmagic 初步使用Demo
weixin_48673251的博客
07-10 202
一想到做爬虫大家第一个想到的语言一定是python，毕竟python比方便，而且最近也非常的火爆，但是python有一个全局锁的概念新能有瓶颈，所以用java还是比较牛逼的， 各类JAVA爬虫框架 Python中大的爬虫框架有scrapy（风格类似django），pyspider（国产python爬虫框架）。 除了Python，Java中也有许多爬虫框架。 nutch apache下的开源爬虫程序，功能丰富，文档完整，有数据抓取解析以及存储的模块。 它的特点是规模大。 heritrix 比较成.
java爬虫Demo
11-26
一个简单的java爬虫Demo。
WebMagic：强大的Java爬虫框架解析与实战
最新发布
Aaron_945的博客
08-14 1432
WebMagic的设计遵循了爬虫开发的基本流程：下载网页、解析网页、提取数据、存储数据。它将这些流程抽象为四个组件：Downloader、PageProcessor、Scheduler、Pipeline，通过这四个组件的协同工作，实现了高效、灵活的网页抓取。Downloader：负责从网络上下载页面，并将页面内容提供给PageProcessor进行解析。：用户自定义的页面解析逻辑，用于解析页面内容，提取需要的数据，并可以生成新的请求任务。Scheduler。
[Java] 知乎下巴第5集：使用HttpClient工具包和宽度爬虫
热门推荐
汪海的实验室
01-09 1万+
说到爬虫，使用Java本身自带的URLConnection可以实现一些基本的抓取页面的功能，但是对于一些比较高级的功能，比如重定向的处理，HTML标记的去除，仅仅使用URLConnection还是不够的。 在这里我们可以使用HttpClient这个第三方jar包，下载地址点击这里。 接下来我们使用HttpClient简单的写一个爬去百度的Demo： import java.io.File
Java爬虫Demo
11-28
一个简单的Java爬虫demo ，简单易懂，自己整理的希望能帮助大家。
java爬虫小demo
qq_42006256的博客
07-05 365
java爬虫小demo jsoup jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 为啥要写这篇文章呢，就是闲辖无聊没事干，简单琢磨了一下。 其实呢这个东西真的不难，只要你会一点jquery获取html元素就基本没啥问题。哈哈哈好了不说了直接上代码。 pa...
java爬虫框架之webMagic
10-13
Java爬虫框架WebMagic是一个强大的、模块化设计的开源爬虫框架，专为简化网络爬虫的开发而设计。在本文中，我们将深入探讨WebMagic的核心概念、主要组件、使用方法以及如何通过示例项目spider_demo来实现一个简单的...
Java爬虫③WebMagic 爬取案例
weixin_46083166的博客
01-22 829
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。 特性： 简单的API，可快速上手 模块化的结构，可轻松扩展 提供多线程和分布式支持 导入maven依赖` <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.
java爬虫的DEMO的实现
01-31
这个DEMO虽然简单，但它涵盖了许多基础的Java爬虫开发技巧。通过学习和理解这个DEMO，你可以了解到如何构建一个基本的网络爬虫，从而进一步扩展到更复杂的任务，如内容分析、情感分析甚至是机器学习应用。
Java爬虫框架WebMagic的介绍及使用(定时任务、代理)
"✧treasure mountain✧"
03-28 1万+
一、概述 1、介绍 WebMagic的底层用到了HttpClient和Jsoup 能够更方便地开发爬虫 WebMagic项目代码分为核心和扩展两部分 其中： ★核心部分(webmagic-core)是一个精简的 模块化的爬虫实现 而扩展部分则包括一些便利的 实用性的功能 ★扩展部分(webmagic-extension)提供了一些便捷的功能 例如用注解模式编写爬虫等 同时内置了一些常用的组件 便...
爬虫javaDemo
08-17
爬虫demo,直接使用，可实现各种网站内容的爬取，易于镶入已有项目，简单实用
java网络爬虫实现简单Demo
09-29
java网络爬虫实现简单Demo
java实现简单的爬虫小Demo
05-14
简单的java实现的爬虫技术，爬取的是智联招聘的工作数据
JAVA爬虫demo
Pannahouse的博客
01-19 2033
爬虫
java爬虫demo
Knight_art的博客
07-09 543
import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.File; import java.io.FileOutputStream; import java.io.InputStreamReader; import java.net.MalformedURLException; import...
Java小爬虫Demo
xjtuse2014的博客
10-27 638
/** * Created by Cage on 2016/10/27. */ import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URL;
一个简单Java爬虫demo(Java爬虫爬取数据和图片数据)
Lorie_chen的博客
12-14 303
在这里我们用jsoup来做，首先导入jsoup依赖 直接引入下面的依赖，如果有喜欢追新版本的强迫症者可以到官网搜索最新版本https://mvnrepository.com/ <!-- jsoup --> <dependency> <groupId>org.jsoup</groupId> <artifactId>jso...
java简单的爬虫Demo——webMagic
wu18296184782的博客
05-07 2796
        我们当下生活在信息化时代，信息数据成为一种重要资源，而比较火热的大数据就是基于数据进行算法分析。而爬虫就是一种获取数据的一种方法，我本人最近刚好有空闲时间玩爬虫，借此文章为初学者引导以及自我记忆。我选取的小巧灵活的webMagic框架进行实践。                写在前面1.注意每次访问页面后最好线程sleep一点时间（不要因为我们的随便练手影响到你爬取数据网站的运转，...
Java开源爬虫框架webmagic使用手册
"Webmagic是一个开源的Java垂直爬虫框架，旨在简化爬虫开发流程，让开发者专注于业务逻辑。由作者code4craft为解决爬虫开发中的重复工作而创建，但不支持反封锁策略如验证码破解等。其架构设计受到Python的scrapy和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值