WebMagic+Selenium爬虫实战展示

最新推荐文章于 2023-12-04 18:59:54 发布

学习时长两年半的小学生

最新推荐文章于 2023-12-04 18:59:54 发布

阅读量591

点赞数

分类专栏： Java实战项目分享文章标签： java maven spring selenium

本文链接：https://blog.csdn.net/whiteBearClimb/article/details/104536558

版权

本文详细介绍了如何使用WebMagic和Selenium进行网页爬虫实战，包括配置maven、JDK和浏览器驱动，从GitHub获取项目代码，定位并抓取小说页面的正文内容。虽然遇到浏览器驱动版本不兼容的问题，但最终成功实现网页正文的抓取。

摘要由CSDN通过智能技术生成

之前那个爬虫项目只是说了大概上的配置和一些使用方法，有很多同学留言问具体怎么使用，这里直接简单操作一番。

首先电脑要配置好maven环境，配置好JDK，配置好对应浏览器版本的驱动，然后去我的gitHub拉取那个spider项目，具体详情看：https://blog.csdn.net/whiteBearClimb/article/details/103711670

下面是完整的pom.xml 依赖：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.2.4.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<groupId>com.example</groupId>
	<artifactId>demo</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>demo</name><