springboot整合webmagic动态爬取网页

置顶 已于 2023-12-12 12:39:16 修改
阅读量2.6k 收藏 5
点赞数
文章标签： spring boot chrome 后端 1024程序员节
于 2022-10-14 13:54:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40942490/article/details/127318851
版权

欢迎大家进群，一起探讨学习

欢迎大家进群，一起讨论学习

微信公众号，每天给大家提供技术干货

在这里插入图片描述

博主技术笔记 https://notes.xiyankt.com


博主开源微服架构前后端分离技术博客项目源码地址，欢迎各位star https://gitee.com/bright-boy/xiyan-blog


springboot整合webmagic爬取静态动态页面

1.查看google浏览器版本

在这里插入图片描述

2.下载对应的驱动

http://chromedriver.storage.googleapis.com/index.html

在这里插入图片描述

3.下载webmagic源码并修改里面的配置 我这里下载的是最新版本0.7.5

https://github.com/code4craft/webmagic

4、下载完成后通过idea打开，修改 webmagic-selenium 包中的WebDriverPool 和 SeleniumDownloader

修改1：WebDriverPool中 private static final String DEFAULT_CONFIG_FILE = "/data/webmagic/webmagic-selenium/config.ini";将 Selenium 配置文件路径写死了，需要改变配置路径：private static final String DEFAULT_CONFIG_FILE = “selenium.properties”;，同时修改读取配置文件的方式：sConfig.load(Thread.currentThread().getContextClassLoader().getResourceAsStream(configFile)); 修改2：Selenium在调用Chrome浏览器时，Chrome浏览器默认会弹出界面，可以同时设置 setHeadless() 来避免弹出Chrome浏览器。

复制如下我的配置就行

一）修改pom

在这里插入图片描述

二）修改后的 WebDriverPool

package us.codecraft.webmagic.downloader.selenium;

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.firefox.FirefoxOptions;
import org.openqa.selenium.phantomjs.PhantomJSDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriverService;
import org.openqa.selenium.remote.DesiredCapabilities;
import org.openqa.selenium.remote.RemoteWebDriver;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.FileReader;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.Properties;
import java.util.concurrent.BlockingDeque;
import java.util.concurrent.LinkedBlockingDeque;
import java.util.concurrent.atomic.AtomicInteger;

/**
 * @author code4crafter@gmail.com <br>
 * Date: 13-7-26 <br>
 * Time: 下午1:41 <br>
 */
class WebDriverPool {
    private Logger logger = LoggerFactory.getLogger(getClass());

    private final static int DEFAULT_CAPACITY = 5;

    private final int capacity;

    private final static int STAT_RUNNING = 1;

    private final static int STAT_CLODED = 2;

    private AtomicInteger stat = new AtomicInteger(STAT_RUNNING);

    /*
     * new fields for configuring phantomJS
     */
    private WebDriver mDriver = null;
    private boolean mAutoQuitDriver = true;

    private static final String DEFAULT_CONFIG_FILE = "selenium.properties";
    private static final String DRIVER_FIREFOX = "firefox";
    private static final String DRIVER_CHROME = "chrome";
    private static final String DRIVER_PHANTOMJS = "phantomjs";

    protected static Properties sConfig;
    protected static DesiredCapabilities sCaps;

    /**
     * Configure the GhostDriver, and initialize a WebDriver instance. This part
     * of code comes from GhostDriver.
     * https://github.com/detro/ghostdriver/tree/master/test/java/src/test/java/ghostdriver
     *
     * @throws IOException
     * @author bob.li.0718@gmail.com
     */
    public void configure() throws IOException {
        // Read config file
        sConfig = new Properties();
        String configFile = DEFAULT_CONFIG_FILE;
        if (System.getProperty("selenuim_config") != null) {
            configFile = System.getProperty("selenuim_config");
        }
        sConfig.load(Thread.currentThread().getContextClassLoader().getResourceAsStream(configFile));

        // Prepare capabilities
        sCaps = new DesiredCapabilities();
        sCaps.setJavascriptEnabled(true);
        sCaps.setCapability("takesScreenshot", false);

        String driver = sConfig.getProperty("driver", DRIVER_PHANTOMJS);

        // Fetch PhantomJS-specific configuration parameters
        if (driver.equals(DRIVER_PHANTOMJS)) {
            // "phantomjs_exec_path"
            if (sConfig.getProperty("phantomjs_exec_path") != null) {
                sCaps.setCapability(
                        PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY,
                        sConfig.getProperty("phantomjs_exec_path"));
            } else {
                throw new IOException(
                        String.format(
                                "Property '%s' not set!",
                                PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY));
            }
            // "phantomjs_driver_path"
            if (sConfig.getProperty("phantomjs_driver_path") != null) {
                System.out.println("Test will use an external GhostDriver");
                sCaps.setCapability(
                        PhantomJSDriverService.PHANTOMJS_GHOSTDRIVER_PATH_PROPERTY,
                        sConfig.getProperty("phantomjs_driver_path"));
            } else {
                System.out
                        .println("Test will use PhantomJS internal GhostDriver");
            }
        }

        // Disable "web-security", enable all possible "ssl-protocols" and
        // "ignore-ssl-errors" for PhantomJSDriver
        // sCaps.setCapability(PhantomJSDriverService.PHANTOMJS_CLI_ARGS, new
        // String[] {
        // "--web-security=false",
        // "--ssl-protocol=any",
        // "--ignore-ssl-errors=true"
        // });

        ArrayList<String> cliArgsCap = new ArrayList<String>();
        cliArgsCap.add("--web-security=false");
        cliArgsCap.add("--ssl-protocol=any");
        cliArgsCap.add("--ignore-ssl-errors=true");
        sCaps.setCapability(PhantomJSDriverService.PHANTOMJS_CLI_ARGS,
                cliArgsCap);

        // Control LogLevel for GhostDriver, via CLI arguments
        sCaps.setCapability(
                PhantomJSDriverService.PHANTOMJS_GHOSTDRIVER_CLI_ARGS,
                new String[]{"--logLevel="
                        + (sConfig.getProperty("phantomjs_driver_loglevel") != null ? sConfig
                        .getProperty("phantomjs_driver_loglevel")
                        : "INFO")});

        // String driver = sConfig.getProperty("driver", DRIVER_PHANTOMJS);

        // Start appropriate Driver
        if (isUrl(driver)) {
            sCaps.setBrowserName("phantomjs");
            mDriver = new RemoteWebDriver(new URL(driver), sCaps);
        } else if (driver.equals(DRIVER_FIREFOX)) {
            FirefoxOptions options = new FirefoxOptions();
            mDriver = new FirefoxDriver(options);
        } else if (driver.equals(DRIVER_CHROME)) {
            ChromeOptions options = new ChromeOptions();
            //  浏览器不提供可视化页面（无头模式
            options.addArguments("headless");
            // 谷歌禁用GPU加速
            options.addArguments("disable-gpu");
            //隐身模式（无痕模式）
            options.addArguments("incognito");
            // 禁用3D软件光栅化器
            options.addArguments("disable-software-rasterizer");
            //解决DevToolsActivePort文件不存在的报错
            options.addArguments("no-sandbox");
            //不加载图片, 提升速度
            options.addArguments("blink-settings=imagesEnabled=false");
            //
            options.addArguments("disable-dev-shm-usage");
            // 禁用GPU缓存
            options.addArguments("disable-gpu-program-cache");
            // 禁用扩展
            options.addArguments("disable-extensions");
            // 禁用JS
            options.addArguments("disable-javascript");
            // 禁用java
            options.addArguments("disable-java");
            //禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果
            options.addArguments("disable-plugins");
            // 禁用图像
            options.addArguments("disable-images");
            mDriver = new ChromeDriver(options);
        } else if (driver.equals(DRIVER_PHANTOMJS)) {
            mDriver = new PhantomJSDriver(sCaps);
        }
    }

    /**
     * check whether input is a valid URL
     *
     * @param urlString urlString
     * @return true means yes, otherwise no.
     * @author bob.li.0718@gmail.com
     */
    private boolean isUrl(String urlString) {
        try {
            new URL(urlString);
            return true;
        } catch (MalformedURLException mue) {
            return false;
        }
    }

    /**
     * store webDrivers created
     */
    private List<WebDriver> webDriverList = Collections
            .synchronizedList(new ArrayList<WebDriver>());

    /**
     * store webDrivers available
     */
    private BlockingDeque<WebDriver> innerQueue = new LinkedBlockingDeque<WebDriver>();

    public WebDriverPool(int capacity) {
        this.capacity = capacity;
    }

    public WebDriverPool() {
        this(DEFAULT_CAPACITY);
    }

    /**
     * @return
     * @throws InterruptedException
     */
    public WebDriver get() throws InterruptedException {
        checkRunning();
        WebDriver poll = innerQueue.poll();
        if (poll != null) {
            return poll;
        }
        if (webDriverList.size() < capacity) {
            synchronized (webDriverList) {
                if (webDriverList.size() < capacity) {

                    // add new WebDriver instance into pool
                    try {
                        configure();
                        innerQueue.add(mDriver);
                        webDriverList.add(mDriver);
                    } catch (IOException e) {
                        e.printStackTrace();
                    }

                    // ChromeDriver e = new ChromeDriver();
                    // WebDriver e = getWebDriver();
                    // innerQueue.add(e);
                    // webDriverList.add(e);
                }
            }

        }
        return innerQueue.take();
    }

    public void returnToPool(WebDriver webDriver) {
        checkRunning();
        innerQueue.add(webDriver);
    }

    protected void checkRunning() {
        if (!stat.compareAndSet(STAT_RUNNING, STAT_RUNNING)) {
            throw new IllegalStateException("Already closed!");
        }
    }

    public void closeAll() {
        boolean b = stat.compareAndSet(STAT_RUNNING, STAT_CLODED);
        if (!b) {
            throw new IllegalStateException("Already closed!");
        }
        for (WebDriver webDriver : webDriverList) {
            logger.info("Quit webDriver" + webDriver);
            webDriver.quit();
            webDriver = null;
        }
        //根据不同的操作系统结束残留的chrome进程
        String os = System.getProperty("os.name");
        if (os != null && os.toLowerCase().startsWith("windows")) {
            try {
                logger.info("{}清理残留进程", os);
                Runtime.getRuntime().exec("taskkill /F /im " + "chromedriver.exe");
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        } else if (os != null && os.toLowerCase().startsWith("linux")) {
            try {
                logger.info("{}清理残留进程", os);
                Runtime.getRuntime().exec("ps -ef | grep Chrome | grep -v grep  | awk '{print \"kill -9 \"$2}'  | sh");
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }

}

（二）修改后的 SeleniumDownloader

package us.codecraft.webmagic.downloader.selenium;

import org.openqa.selenium.By;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Request;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.downloader.AbstractDownloader;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.PlainText;

import java.io.Closeable;
import java.io.IOException;
import java.util.Map;

/**
 * 使用Selenium调用浏览器进行渲染。目前仅支持chrome。<br>
 * 需要下载Selenium driver支持。<br>
 *
 * @author code4crafter@gmail.com <br>
 * Date: 13-7-26 <br>
 * Time: 下午1:37 <br>
 */
public class SeleniumDownloader extends AbstractDownloader implements Closeable {

    private volatile WebDriverPool webDriverPool;

    private Logger logger = LoggerFactory.getLogger(getClass());

    private int sleepTime = 0;

    private int poolSize = 1;

    private static final String DRIVER_PHANTOMJS = "phantomjs";

    /**
     * 新建
     *
     * @param chromeDriverPath chromeDriverPath
     */
    public SeleniumDownloader(String chromeDriverPath) {
        System.getProperties().setProperty("webdriver.chrome.driver",
                chromeDriverPath);
    }

    /**
     * Constructor without any filed. Construct PhantomJS browser
     *
     * @author bob.li.0718@gmail.com
     */
    public SeleniumDownloader() {
        // System.setProperty("phantomjs.binary.path",
        // "/Users/Bingo/Downloads/phantomjs-1.9.7-macosx/bin/phantomjs");
    }

    /**
     * set sleep time to wait until load success
     *
     * @param sleepTime sleepTime
     * @return this
     */
    public SeleniumDownloader setSleepTime(int sleepTime) {
        this.sleepTime = sleepTime;
        return this;
    }

    @Override
    public Page download(Request request, Task task) {
        checkInit();
        WebDriver webDriver = null;
        Page page = Page.fail();
        try {
            webDriver = webDriverPool.get();

            logger.info("downloading page " + request.getUrl());
            webDriver.get(request.getUrl());
            try {
                if (sleepTime > 0) {
                    Thread.sleep(sleepTime);
                }
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            WebDriver.Options manage = webDriver.manage();
            Site site = task.getSite();
            if (site.getCookies() != null) {
                for (Map.Entry<String, String> cookieEntry : site.getCookies()
                        .entrySet()) {
                    Cookie cookie = new Cookie(cookieEntry.getKey(),
                            cookieEntry.getValue());
                    manage.addCookie(cookie);
                }
            }

            /*
             * TODO You can add mouse event or other processes
             *
             * @author: bob.li.0718@gmail.com
             */
            try {
                //休眠3秒就是为了动态的数据渲染完成后在进行获取
                Thread.sleep(3000);
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }
            WebElement webElement = webDriver.findElement(By.xpath("/html"));
            String content = webElement.getAttribute("outerHTML");
            page.setDownloadSuccess(true);
            page.setRawText(content);
            page.setHtml(new Html(content, request.getUrl()));
            page.setUrl(new PlainText(request.getUrl()));
            page.setRequest(request);
            onSuccess(request, task);
        } catch (Exception e) {
            logger.warn("download page {} error", request.getUrl(), e);
            onError(request, task, e);
        } finally {
            if (webDriver != null) {
                webDriverPool.returnToPool(webDriver);
            }
        }
        return page;
    }

    private void checkInit() {
        if (webDriverPool == null) {
            synchronized (this) {
                if (webDriverPool == null) {
                    webDriverPool = new WebDriverPool(poolSize);
                }
            }
        }
    }

    @Override
    public void setThread(int thread) {
        this.poolSize = thread;
    }

    @Override
    public void close() throws IOException {
        webDriverPool.closeAll();
    }
}

（三）修改后的 版本号
在这里插入图片描述

（四）修改后的 打包
在这里插入图片描述

5.maven依赖

    <dependencies>
		 <!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-selenium -->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-selenium</artifactId>
            <version>0.7.5</version>
        </dependency>
         <!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-extension -->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-core -->
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.5</version>
        </dependency>
	</dependencies>

6.指定

在这里插入图片描述

注意，在linux执行完后会发现有很多的chrome进程并没有结束，可以结合linux的定时器定时执行如下命令

修改/etc/crontab 加入

*/5 * * * *             ps -ef | grep Chrome | grep -v grep  | awk '{print "kill -9 "$2}'  | sh
*/5 * * * *             ps -ef | grep chromedriver | grep -v grep  | awk '{print "kill -9 "$2}'  | sh

crontab /etc/crontab  #将定时文件加到到订时器中
crontab -l  #检测定时任务有没有加入系统中，能看到上面2个定时任务说明成功；
/etc/init.d/cron  restart  重启

在这里插入图片描述

刘明同学呀
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
webmagic ajax,webmagic爬虫对静态页面，动态页面及js请求方式爬取的处理
weixin_39715652的博客
08-06 1484
webmagic爬取网页数据，【分页爬取内容】见上一篇博文https://segmentfault.com/a/1190000020005655webmagic的官方文档见： http://webmagic.io/docs/zh/ 可查阅根据不同选择器 获取节点信息等内容网页内容爬取根据页面生成方式基本上可通过以下方法爬取：一.静态页面【最常见的】，能通过webmagic的常规方法直接爬取...
springboot 集成webmagic实现网页数据爬取功能
05-10
SpringBoot集成WebMagic实现网页数据爬取功能是一个常见的实践，特别是在大数据分析、信息抓取以及自动化测试等领域。这个项目提供了一个可以直接使用的示例工程，帮助开发者快速理解和应用爬虫技术。 1. **...
jQuery概述，架构师必备技能
2401_84094725的博客
04-04 405
去jquery官网下载jquery代码，在项目中新建jquery.min.js文件，将在jquery官网得道的jquery代码复制到jquery.min.js文件中。代码能力一定要注重，尤其是很多原理性的代码（之前两次让我写过Node中间件，Promise.all，双向绑定原理，被虐的怀疑人生）！尽量从面试官的问题中表现自己知识的深度与广度，让面试官发现你的闪光点！2.6、JQuery对象和DOM对象的转换。2.5、JQuery对象和DOM对象。2.4、jQuery的顶级对象。
【Java-Crawler】爬取动态页面（WebMagic、Selenium、ChromeDriver）
qq_63691275的博客
05-24 2262
WebMagic仅能解析静态页面，如果需要爬取JavaScript被解析后的页面，我们可以试着用Selenium+ChromeDriver去实现。
Java 使用WebMagic爬取网页（简单示例）
m0_62902381的博客
05-20 1308
WebMagic是一个基于Java的开源网络爬虫框架，它提供了很多简单易用的API接口，可以帮助使用者快速构建出高效、可扩展的网络爬虫程序，WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成，核心代码非常简单，主要是将这些组件结合并完成多线程的任务WebMagic的结构分为。
webmagic+selenium模拟浏览器下载动态网页
伏念先生的博客
03-10 1618
现在绝大多数网页都是动态生成的，那么学习爬虫就意味着更加困难。若是静态网页，只需要了解如何连接网络和分析网页源代码提取标签信息即可，但是动态网页的话，就需要使用到一些特定的框架来爬取了。比较实用的爬取动态网页信息的其中一个工具就是selenium了。先来看看要怎样使用webmagic和selenium来模拟浏览器启动吧。 import us.codecraft.webmagic.Spider; i...
webmagic一：springboot整合webmagic，实现定时任务爬取多个网站
qq_28827185的博客
01-08 1101
从零开始写java爬虫
Springboot整合Webmagic实现网页爬虫并实时入库
weixin_41446894的博客
03-08 4468
我的上一篇写的是面试技术AOP，当然，这么多天不在线，总得来点技术干货啊！公司最近需要爬虫的业务，所以翻了一些开源框架最终还是选择国人的开源，还是不错的，定制化一套，从抽取，入库，保存，一应俱全。现在展示一下我找的框架对比吧。 简单demo会如下，抽取要求，定时获取新闻列表，二级页面标题正文等信息。 关于爬虫组件的使用调研 调研简介：因使用爬虫组件抓取网页数据和分页新闻数据，故对各爬虫组件进...
Java开发案例-springboot-17-整合WebMagic实现爬取和解析CSDN文章数据-源代码+文档.rar
最新发布
05-31
Java开发案例-springboot-17-整合WebMagic实现爬取和解析CSDN文章数据-源代码+文档.rar Java开发案例-springboot-17-整合WebMagic实现爬取和解析CSDN文章数据-源代码+文档.rar Java开发案例-springboot-17-整合...
SpringBoot中使用Jsoup爬取网站数据的方法
10-15
以下将详细介绍如何在SpringBoot应用中集成并使用Jsoup进行网站数据爬取。 首先，为了在SpringBoot项目中使用Jsoup，我们需要在`pom.xml`文件中添加对应的依赖。在给出的标签中，可以看到已经包含了Jsoup的依赖，...
springBoot+webMagic实现网站爬虫的实例代码
08-19
springBoot+webMagic实现网站爬虫的实例代码 Spring Boot作为一个基于Java的微服务框架，结合WebMagic这个爬虫框架，可以实现网站爬虫的功能。下面我们将通过实例代码来详细介绍如何使用springBoot+webMagic实现...
spring boot 整合爬虫框架webmagic，并将数据存储到数据库
10-29
本测试Demo共包含两个网站，涉及到三个数据页面的操作，三个Controller层由浅及深，可以更快入手，数据才存储数据库的时候，做了重复性的判断，避免重复添加。
爬虫基于Springboot+WebMagic+Mybatis+多数据源
11-30
闲来无事最近写了一个全新的爬虫框架WebMagic整合springboot的爬虫程序，不清楚WebMagic的童鞋可以先查看官网了解什么是Webmagic，顺便说说用springboot时遇到的一些坑
SpringBoot整合WebMagic实现爬虫(简单整合含gitee源码)
weixin_43917143的博客
10-07 1539
SpringBoot整合WebMagic 前言 ​ 为什么我要整合WebMagic ? WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。 因为部分网站它不支持外链图片上传,而我已经把我的图片资源上传了,所以我需要把所有的资源进行获取整合再在部分网站重新上传; 举个????: ​ 红框里的就是上传失败的。 很无奈,人家不支持外链地址,那没有办法,自己重新上传吧! 所以我通过WebMagic进行爬取我放置在其他网站的博客再进行上传。 如下????
webmagic ajax,webmagic 爬虫 分页
weixin_35353583的博客
08-06 619
importus.codecraft.webmagic.Page;importus.codecraft.webmagic.Site;importus.codecraft.webmagic.Spider;importus.codecraft.webmagic.processor.PageProcessor;importus.codecraft.webmagic.selector.JsonP...
webmagic+selenium+tesseract-ocr实现米扑代理爬取
芝士味椒盐的博客
01-16 9036
WebMagic简介 webmagic是不需要配置，便捷数据挖掘的爬虫框架，其拥有简单且灵活的api。webmagic整体采用模块化架构，整个爬虫的生命周期：提取连接——>页面下载——>内容提取——>数据持久化，并且支持多线程挖掘，支持分布式挖掘，支持自动重试，自定义cookies，模块可定制化等功能。 Selenium简介 selenium是一款遵守Apache License 2.0协议的开源框架，用于Web程序自动化测试工具，selenium测试...
springboot爬虫webmagic
weixin_49390750的博客
05-30 276
springboot爬虫webmagic
Java爬虫——WebMagic多线程，多深度数据爬取整合
weixin_48974246的博客
07-06 2185
WebMagic——多线程，多深度数据爬取整合 注： 此文章主要解决以下应用场景，在使用webmagic框架时，会存在多线程爬取数据，这就导致了在不同页面中爬取到的数据无法整合为一条，因为你在爬取A页面的时候，你其实也在爬取通过A页面点进去的B页面，但是这其实是一条数据，应该在存储时进行整合。 应用场景： 这是A页面，也就是第一层页面，通多A页面点击 “北京岭秀” 进入B页面 进入如下B页面后，需要抓取，楼盘的别名，以及标题，而且需要通过查看更多楼盘详情，进入C页面 进入C页面后，我需要抓取他的基本信
SpringBoot从入门到精通教程（三十一）- 爬虫框架集成
Think Different
03-15 4392
需求背景 SpringBoot用法：爬虫框架集成 业务场景 以抓取“今日头条”新闻举例说明 技术点 1. 集成爬虫框架webmagic（更多了解webmagic，可以去官方地址） <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-e...
webmagic深度爬取数据
03-31
WebMagic是一个基于Java的开源爬虫框架，可以用来实现深度爬取数据。下面是WebMagic深度爬取数据的步骤： 1.确定爬取目标：确定要爬取的网站和要获取的数据类型。 2.分析网站结构：分析要爬取的网站的页面结构，确定需要爬取的数据在哪些页面上，以及数据在页面中的位置和格式。 3.编写爬虫程序：根据分析结果编写爬虫程序，使用WebMagic框架中提供的API，通过HTTP请求获取网页内容，使用XPath或CSS选择器解析页面数据，将数据存储到本地文件或数据库中。 4.配置爬虫参数：通过配置文件或代码设置爬虫的参数，如爬取的页面数量、爬取的频率、用户代理等。 5.启动爬虫：运行编写好的爬虫程序，启动爬虫开始爬取数据。 6.数据存储和处理：将爬取到的数据存储到本地文件或数据库中，进行数据清洗和处理，以便后续的数据分析和应用。 需要注意的是，在爬取数据时要遵守网站的相关规定和法律法规，不得进行恶意攻击和侵犯他人隐私。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刘明同学呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值