hlw521hxq的博客

ChromeWebDriver 完整爬到页面的逻辑内容 /*配置基础选项*/ ChromeOptions options = new ChromeOptions(); /*配置页面加载策略 */ options.setPageLoadStrategy(PageLoadStrategy.EAGER); /*设置无头模式*/ options.addArguments("-headless"); /*创建驱动*

WebMagic爬虫技术pipeline 管道控制台管道自定义管道主要将获取有用的信息进行处理PageProcessor 页面处理器主要爬取逻辑继续跟进