网络爬虫框架：Webmagic（含案例代码）

最新推荐文章于 2023-07-26 00:16:24 发布
最新推荐文章于 2023-07-26 00:16:24 发布
阅读量1.5k 收藏 6
点赞数 4
分类专栏： 后台开发框架 文章标签： java 后台 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43934607/article/details/101646256
版权

一.概述

在这里插入图片描述
四大组件

  • Downloader
    Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了 ApacheHttpClient作为下载工具

  • PageProcessor

    • PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup 作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。
    • 在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

  • Pipeline
    Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供 了“输出到控制台”和“保存到文件”两种结果处理方案。

  • Scheduler
    Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内 存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

二.各个组件的使用

1.依赖

		<dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.3</version>
        </dependency>
        
        <!--要用redis去保存已经爬取过的链接-->
        <dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-redis</artifactId>
		</dependency>

2.PageProcessor

  1. 新建一个类 implements PageProcessor
  2. 重写：process()、getSite()
public class MyProcessor implements PageProcessor { 
	public void process(Page page) { 
		//对爬取到的页面进行的操作
	}
	
	public Site getSite() { 
		//在爬取页面时对http请求的一些设置 例如编码、HTTP头、超时时间、重试策略 等、代理等
		return Site.me().setSleepTime(100).setRetryTimes(3); 
	}
}

  • Page的常用操作

    • 将当前页面 里的所有链接都添加到目标页面中
    page.addTargetRequests( page.getHtml().links().all() );
    • 对下面要爬取的链接进行正则表达式的限制
    page.addTargetRequests( page.getHtml().links().regex("https://blog.csdn.net/[a‐z 0‐9 ‐]+/article/details/[0‐9]{8}").all() );
    • 获得爬取到的整个html页面代码
    page.getHtml().toString()
    • 对获取的整个html页面只取得想要部分的标签里的内容
    page.getHtml().xpath("//* [@id=\"nav\"]/div/div/ul/li[5]/a").toString();
    • 获取标签里的属性使用‘@’（比如获取<a herf="" 的herf)
    page.getHtml().xpath("/html/body/div/div[4]/div[3]/h2[1]/a/@href")
    • 把取到的内容保存下来 让Pipeline可以取出 然后保存的数据库或者打印
    page.putField("title",page.getHtml().xpath("//* [@id=\"mainBox\"]/main/div[1]/div[1]/h1/text()").toString())

  • Site的可选设置

    • setCharset(String)：设置编码
    • setUserAgent(String)：设置UserAgent
    • setTimeOut(int)：设置超时时间，单位是毫秒
    • setRetryTimes(int)：设置重试次数
    • setCycleRetryTimes(int)：设置循环重试次数
    • addCookie(String,String):添加一条cookie
    • setDomain(String)：设置域名，需设置域名 后，addCookie才可生效
    • addHeader(String,String)： 添加一条 addHeader
    • setHttpProxy(HttpHost)：设置Http代理

  • 注意

    • 在process() 方法中一般就是：对下面要爬取的链接进行正则表达式的限制、将要要用的字段保存下来 让Pipeline可以处理
    • 在使用page.putField()存入数据之前要先判断在html中取得的数据是否为空
    String title= page.getHtml().xpath("//* [@id=\"mainBox\"]/main/div[1]/div[1]/h1/text()").get(); //页面标题
String content= page.getHtml().xpath("//* [@id=\"article_content\"]/div/div[1]").get(); //页面内容

if(title!=null && content!=null){ 
 	//如果有标题和内容 
 	page.putField("title",title); 
 	page.putField("content",content); 
}else{
 	page.setSkip(true);//跳过 
}
    • 在获取XPath的时候 可用通过右键要用的部分 查看该部分网页源代码 然后在该部分html代码再右键选择复制xpath
      在这里插入图片描述

3.Pipeline

  1. 常用的自带的有：

    1. ConsolePipeline：控制台输出
    2. FilePipeline：文件保存
    3. JsonFilePipeline：以json方式文件保存

  2. 定制Pipline（最常用）

    import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task; 
import us.codecraft.webmagic.pipeline.Pipeline; 

public class MyPipeline implements Pipeline { 

	public void process(ResultItems resultItems, Task task) { 
		//获得刚才page.putField() 放入的值
		String title=resultItems.get("title"); 	
		System.out.println("我的定制的 title:"+title); 

		/*
		 * 一般都会在这里放入数据库中持久化
		 */
	} 
}
  • 注意
    • 必须要在page. putField()时 给要放入的值调用tostring()方法 不然到时无法转化为string类型

4 Scheduler

  1. 使用Scheduler的目的是防止重复爬取同一链接 所以需要把爬取过的链接保存下来

  2. 三种实现方式

    1. QueueScheduler：内存队列（保存在内存中 不常用）
    2. FileCacheQueueScheduler ：文件队列（保存在本机的文件里 只适合单机 不适合分布式爬虫）
    3. RedisScheduler：Redis队列（生产环境最常用）

5.Spider

  • Spider是爬虫启动的入口

    • create(PageProcessor)：创建Spider
    • addUrl(String…)：添加初始的URL
    • thread(n)：开启n个线程
    • run()：启动 会阻塞当前线程执行
    • start()/runAsync()：异步启动 当前线程继续执行
    • stop()：停止爬虫
    • addPipeline(Pipeline)：添加一个 Pipeline 一个Spider可以有多个Pipeline
    • setScheduler(Scheduler)：设置Scheduler 一 个Spider只能 有个一个Scheduler
    • setDownloader(Downloader)：设置Downloader 一个Spider只能有个一个Downloader
    • get(String)：同步调用 并直接取得结果
    • getAll(String…)：同步调用 并直接取得一堆结果
    public static void main(String[] args) { 
	Spider.create( new MyProcessor() ) 
		.addUrl("https://blog.csdn.net") 
  		.addPipeline(new ConsolePipeline())									//把已经爬过的链接存入内存 
    	.addPipeline(new FilePipeline("e:/data"))							//以一般格式存入文件已经爬过的链接 
   		.addPipeline(new JsonFilePipeline("e:/json"))						//以json格式存入文件已经爬过的链接 
   		.addPipeline(new MyPipeline())										//定制化输出（可以写入数据库、文件或者打印等等） 
		//.setScheduler(new QueueScheduler())								//设置内存队列 
		//.setScheduler(new FileCacheQueueScheduler("E:\\scheduler"))		//设置文件队列 
		.setScheduler(new RedisScheduler("127.0.0.1"))						//设置Redis队列（只能有一个Scheduler)
		.run(); 
}

6.如果要爬取得内容是图片

  1. 怎么获得便签中的属性值
    //获取到<img>变迁的上一级标签就停止 然后再用.css获取image标签的属性
String image= page.getHtml().xpath("//* [@id=\"asideProfile\"]/div[1]/div[1]/a").css("img","src").toString();
  2. 爬到链接后下载图片的工具类
    import java.io.*; 
import java.net.URL; 
import java.net.URLConnection; 

/**
* 下载工具类 
*/ 
public class DownloadUtil { 
	
	public static void download(String urlStr,String filename,String savePath) throws IOException { 
		URL url = new URL(urlStr); 
		//打开url连接 
		URLConnection connection = url.openConnection(); 
		//请求超时时间 
		connection.setConnectTimeout(5000); 
		//输入流 
		InputStream in = connection.getInputStream(); 
		//缓冲数据 
		byte [] bytes = new byte[1024]; 
		//数据长度 
		int len;
		//文件 
		File file = new File(savePath); 
		if(!file.exists()){
			file.mkdirs(); 
		}
		OutputStream out = new FileOutputStream(file.getPath()+"\\"+filename); 
		//先读到bytes中 
		while ((len=in.read(bytes))!=‐1){ 
			//再从bytes中写入文件 
			out.write(bytes,0,len); 
		}
		//关闭IO 
		out.close(); in.close(); 
	}
 }
  3. Pipeline怎么下载使用
    @Override 
public void process(ResultItems resultItems, Task task) { 
	String image = resultItems.get("image");//图片地址 
	String fileName = image.substring(image.lastIndexOf("/")+1); 
	//下载图片 
	try {
		DownloadUtil.download(image,fileName,"e:/userimg"); 
	} catch (IOException e) { 
		e.printStackTrace(); 
	} 
	//之后图片已经下载到本地 就可以把该文件路径保存起来了
}

注意：爬取一般都会有定时任务每天去定时爬取

三.案例（爬取csdn的用户名和头像）

1.配置启动类

@SpringBootApplication 
@EnableScheduling 
public class UserReptileApplication { 

	//读取在配置文件自己配置的redis地址
	@Value("${spring.redis.host}") 
	private String redis_host; 

	public static void main(String[] args) { 
		SpringApplication.run(UserCrawlerApplication.class, args); ''
	}
	
	@Bean 
	public RedisScheduler redisScheduler(){ 
		return new RedisScheduler(redis_host); 
	} 
}

2.爬取类

import org.springframework.stereotype.Component; 
import us.codecraft.webmagic.Page; 
import us.codecraft.webmagic.Site; 
import us.codecraft.webmagic.processor.PageProcessor; 

/**
* 爬取类 
**/ 
@Component 
public class UserProcessor implements PageProcessor { 

	@Override 
	public void process(Page page) { 
		page.addTargetRequests(page.getHtml().links().regex("https://blog.csdn.net/ [a‐z 0‐9 ‐]+/article/details/[0‐9]{8}").all()); 
		/**
		 * /text()：取标签中间的值 不然获取的结果是<>值</> 
		 * /@属性名：取标签里的属性值 比如取<a href="">的href
		 */
		String nickname= page.getHtml().xpath("//* [@id=\"uid\"]/text()").get(); 
		String image= page.getHtml().xpath("//* [@id=\"asideProfile\"]/div[1]/div[1]/a/img/@src").toString(); 	
		if(nickname!=null && image!=null){ 
			//如果有昵称和头像 
			page.putField("nickname",nickname); 
			page.putField("image",image); 
		}else{
			page.setSkip(true);//跳过 
		} 
	}

	@Override 
	public Site getSite() { 
		return Site.me().setRetryTimes(3000).setSleepTime(100); 
	} 
}

3.入库类

import org.springframework.beans.factory.annotation.Autowired; 
import org.springframework.stereotype.Component; 
import us.codecraft.webmagic.ResultItems; 
import us.codecraft.webmagic.Task; 
import us.codecraft.webmagic.pipeline.Pipeline; 
import util.DownloadUtil; //上面的文件下载工具类
import java.io.IOException; 

@Component 
public class UserPipeline implements Pipeline { 

	@Autowired //无法注入
	//自己封装的一个将爬取到用户名和图片保存起来的实体类 这个是该实体类的dao层用来存储实体类
	private UserDao userDao; 
	
	private static UserPipeline  userPipeline ;
    @PostConstruct //通过@PostConstruct实现初始化bean之前进行的操作
    public void init() {
        userPipeline = this;
        /**
         * 这个类必须用@Component注入spring
         * 初使化时将已静态化的userDao实例化
		 * 使用方式 userDao的方式：userPipeline.userDao
		 */
        userPipeline .userDao= this.userDao;
     }

	@Override 
	public void process(ResultItems resultItems, Task task) { 
		User user=new User(); 
		user.setNickname(resultItems.get("nickname")); 
		String image = resultItems.get("image");//图片地址 
		String fileName = image.substring(image.lastIndexOf("/")+1); 
		try {
		 	//下载图片 
			DownloadUtil.download(image,fileName,"e:/userimg"); 
		} catch (IOException e) {
			 e.printStackTrace(); 
		} 
		user.setImage(fileName); 
		userPipeline.userDao.save(user);
	} 
}

4.任务类

@Component 
public class UserTask { 

	@Autowired 
	private RedisScheduler redisScheduler; //启动类配置的RedisScheduler 
	
	@Autowired 
	private UserPipeline userPipeline; //自定的Pipeline
	
	@Autowired 
	private UserProcessor userProcessor;//实现的PageProcessor的类
	
	//springboot定时任务还要给启动类注解 @EnableScheduling
	@Scheduled(cron="0 0 0 * * ?") //每天的0点执行
	public void userTask(){ 
		System.out.println("爬取用户"); 
		Spider spider = Spider.create(userProcessor); 
		spider.addUrl("https://blog.csdn.net"); 
		spider.addPipeline(userPipeline); 
		spider.setScheduler(redisScheduler); 
		//异步爬取
		spider.start(); 
	}
}
槑！
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
springBoot+webMagic实现网站爬虫的实例代码
08-19
主要介绍了springBoot+webMagic实现网站爬虫的实例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Java爬虫—WebMagic
qq_52655865的博客
02-18 1689
WebMagic企业开发，比HttpClient和JSoup更方便WebMagic有DownLoad，PageProcessor，Schedule，Pipeline四大组件，并有Spider将他们组织起来，这四大组件对应就是爬虫的下载，处理，管理，持久化等功能。
爬虫框架，WebMagic，依赖包下载
06-08
爬虫框架，WebMagic，依赖包下载
完整版Python网络爬虫之Scrapy爬虫框架使用案例教程含源代码共18页.pdf
06-19
本教程将实际操作使用Python Scrapy框架爬取传智播客教师页面教师的个人信息。 爬取页面网址：http://www.itcast.cn/channel/teacher.shtml#ac Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 Scratch，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小刮刮吧。 小刮刮是一个为遍历爬行网站、分解获取数据而设计的应用程序框架，它可以应用在广泛领域：数据挖掘、信息处理和或者历史片（历史记录）打包等等。 尽管小刮刮原本是设计用来屏幕抓取（更精确的说，是网络抓取）的目的，但它也可以用来访问API来提取数据，比如Amazon的AWS或者用来当作通常目的应用的网络蜘蛛。
webmagic爬取数据
04-22
java程序webmagic爬取京东商品、百度资讯代码
WebMagic
梦想是很难很难的，所以先勇敢一点
10-24 1万+
介绍 WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。 WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。 扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。 架构 WebMagic的结构分为Downloader(下载，向Sch
WebMagic 剖析
北风浊酒
03-21 1208
WebMagic 首先，爬虫的本质：基于Http协议请求目标地址获取响应结果解析并存储。 01 导语 1、爬虫基础知识 2、优秀国产开源爬虫框架webmagic剖析 02 爬虫基础 1、爬虫的本质 爬虫的本质：基于Http协议请求目标地址获取响应结果解析并存储。 2、HTTP请求 请求头（Request Headers）：包装了http请求的基本信息，比较重要的如：user...
手摸手学会使用webmagic爬虫框架
weixin_46684099的博客
11-22 2089
什么是webmagic webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。 webmagic的主要特色： 完全模块化的设计，强大的可扩展性。 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。 提供丰富的抽取页面API。 无配置，但是可通过POJO+注解形式实现一个爬虫。 支持多线程。 支持分布式。 支持爬取js动态渲染的页面。 无框架依赖，可以
网络爬虫——WebMagic详解(一)
吴声子夜歌的博客
07-24 1716
Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。第一部分关于爬虫的配置，包括编码、抓取间隔、超时时间、重试次数等，也包括一些模拟的参数，例如User Agent、cookie，以及代理的设置，我们会在第4部分-“爬虫的配置”里进行介绍。爬虫的监控是0.5.0新增的功能。
java爬虫框架之webMagic
DoAsOnePleases的博客
10-13 3354
WebMagic
基于Java的WebMagic爬虫框架设计源码
最新发布
04-18
本项目是基于Java的WebMagic爬虫框架设计源码，包含291个文件，其中主要包含233个java源代码文件，18个xml配置文件等。系统采用了Java、HTML、JavaScript、Ruby、Python、Shell和Kotlin技术，实现了WebMagic爬虫框架的功能，提供简单灵活的API，只需少量代码即可实现一个爬虫。项目结构清晰，代码可读性强，易于理解和维护。
网络爬虫——WebMagic的使用
吴声子夜歌的博客
07-26 1210
WebMagic 是一个非常优秀的 Java 开源网络爬虫框架，其功能覆盖了网络爬虫的 整个生命周期，包括 URL 提取、网页内容下载、网页内容解析和数据存储。WebMagic 项目的源码可以在 GitHub 上进行下载。WebMagic 具有很好的灵活性和可扩展性，支持多线程数据采集和 URL 去重等。在实际应用中，用户可以通过定制 Pipeline 的方式实现其他数据存储需求，如将 数据存储到文本文件、Excel 中等。下面示例为定制的 Pipeline，其作用是将所采集的数据存储 到一个文件中。
探秘WebMagic：爬虫神器
Mr.绵羊的知识星球
06-14 1284
1. webmagic介绍和使用 2. webmagic四大组件 3.webmagic实际应用
WebMagic的学习
weixin_59048239的博客
09-05 643
Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。当一个页面上有多条数据，在类上使用这个标签，可以只扫描这一块区域，当然，类里面如果再次使用这个注解则也是在当前区域选择，如果想要在整个页面选择，需要设置source=RawHtml。当解无法满足要求时，重写这个类的方法，完成操作，这个方法会在抽取结束，字段都初始化完毕之后执行。类，提供了特殊的创建方法，其他的方法是类似的。
springboot整合webmagic动态爬取网页
bright的博客
10-14 2428
springboot整合webmagic爬取静态动态页面。
使用WebMagic进行java爬虫的总结
LJWWD的博客
03-01 1438
WebMagic介绍 WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。 这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。 扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。 WebMagic的中文文档
WebSocket（一）：SpringBoot整合与Socketjs心跳重连实现
热门推荐
菜鸡也有大佬梦
08-30 1万+
一.概念 1.单播(Unicast) ：点对点，私信私聊 2.多播，也叫组播(Multicast)（特地人群）: 多人聊天，发布订阅 3.广播(Broadcast)(所有人): 游戏公告，发布订阅 二.Springboot整合Websocket 1.依赖 后端 org.springframework.boot spring-boot-starter-websocket 2.定义两个消息发送的实...
webmagic爬虫案例51job
05-11
WebMagic是一款Java语言编写的开源网络爬虫框架，可以用于快速开发高效的爬虫程序。其中一个著名的用例就是对51job网站的信息进行爬取。 在使用WebMagic爬取51job网站的过程中，需要先定义一个爬取规则，并在程序中引用WebMagic的相关API进行具体的实现。主要实现步骤包括： 1. 继承PageProcessor类，重写其中的process()方法，实现对网页信息的解析和抽取。 2. 在process()方法中，利用WebMagic提供的XPath、正则表达式等工具进行数据的抽取，以获取所需信息。 3. 定义需要爬取的网页链接，并利用WebMagic提供的Downloader组件进行网页的下载和页面解析。 4. 设置数据管道Pipeline，对爬取到的数据进行处理和存储，可将数据存储到本地文件、数据库等。 通过上述步骤，我们就可以使用WebMagic编写简单、高效的爬虫程序，获取到51job网站上的招聘信息，并进行后续的数据处理与分析。 需要注意的是，进行网络爬虫程序的开发时一定要遵守相关的法律法规，合法合规地进行网络数据采集，避免侵犯他人的合法权益。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值