WebMagic(一)-----初步使用

最新推荐文章于 2024-08-14 22:12:35 发布

钟HL

最新推荐文章于 2024-08-14 22:12:35 发布

阅读量3.8k

点赞数 2

分类专栏： webmagic 文章标签： webmagic 爬虫

本文链接：https://blog.csdn.net/qq_39769369/article/details/82878034

版权

本文档介绍了如何使用WebMagic进行初步的网页抓取。首先，通过创建Maven项目并配置pom.xml来引入webmagic-core和webmagic-extension依赖。接着，遵循官方例子，实现了PageProcessor接口的process()方法，并在main函数中启动Spider。抽取页面元素时，文章提到了XPath、CSS选择器和正则表达式三种方法，分别阐述了它们在WebMagic中的应用。

摘要由CSDN通过智能技术生成

参考文档：http://webmagic.io/docs/zh

1：创建maven项目（官方推荐使用maven）

我使用myeclipse创建后包结构如图所示：

也可以使用创建普通的Java项目导入相关jar包，如图所示

下载路径：https://download.csdn.net/download/qq_39769369/10692739

2、配置pom.xml ----引入webmagic-core、webmagic-extension

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.