webmagic+selenium模拟浏览器启动（动态网页爬取方法之一的第一步）

最新推荐文章于 2024-05-17 20:59:10 发布

without_scruple

最新推荐文章于 2024-05-17 20:59:10 发布

阅读量1.6w

点赞数 7

分类专栏： JAVA_STUDY 文章标签： selenium webmagic 模拟浏览器启动

本文链接：https://blog.csdn.net/without_scruple/article/details/78367412

版权

现在绝大多数网页都是动态生成的，那么学习爬虫就意味着更加困难。若是静态网页，只需要了解如何连接网络和分析网页源代码提取标签信息即可，但是动态网页的话，就需要使用到一些特定的框架来爬取了。比较实用的爬取动态网页信息的其中一个工具就是selenium了。先来看看要怎样使用webmagic和selenium来模拟浏览器启动吧。

代码如下所示：

import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.downloader.selenium.SeleniumDownloader;
import us.codecraft.webmagic.processor.example.GithubRepoPageProcessor;

public class LiuLanQiTest {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		//selenium系统配置，其中的路径写自己config文件的路径
		System.setProperty("selenuim_config", "D:\\jse-workspace\\WebMagicTest\\Study\\src\\main\\java\\Four\\config.ini");	
		Spider.create(new GithubRepoPageProcessor())//调用一个webmagic中封装好的一个网页爬取类
		.addUrl("http://www.baidu.com")//要爬取的网页
		//浏览器驱动（动态网页信息通过模拟浏览器启动获取）
		.setDownloader(new SeleniumDownloader("D:\\ChromeDriver\\chromedriver_win32(2)\\chromedriver.exe"))
		.t