Java爬虫进阶-phantomJS+selenium2抓取网站图片和小说

最新推荐文章于 2024-05-09 23:57:53 发布
最新推荐文章于 2024-05-09 23:57:53 发布
阅读量1.3k 收藏 5
点赞数
分类专栏： Java爬虫 JAVA爬虫实践 文章标签： Java爬虫 phantomJS selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Smile_Miracle/article/details/80576620
版权

闲来无事，应小伙伴要求，最近写了一个专门爬取小说和美女图片的爬虫工具类，有不足之处欢迎小伙伴们指出。

准备工作：

            新建maven工程，导入pom依赖如下：

           

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>zhy.crawler</groupId>
  <artifactId>zhy_crawler</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  
	<properties>
		<jonguoLib.version>0.0.1</jonguoLib.version>
		<HighEncoder.version>0.0.1</HighEncoder.version>
		<RedisTool.version>0.0.2</RedisTool.version>
		<comLog.version>1.1.1</comLog.version>
		<slf4j.version>1.6.1</slf4j.version>
		<jackson.version>1.9.13</jackson.version>
		<spring.version>4.0.2.RELEASE</spring.version>
	</properties>
	
	<dependencies>
	    <dependency>
			<groupId>net.sf.json-lib</groupId>
			<artifactId>json-lib</artifactId>
			<version>2.4</version>
			<classifier>jdk15</classifier><!--鎸囧畾jdk鐗堟湰 -->
		</dependency>
		<dependency>
			<groupId>com.jonguo</groupId>
			<artifactId>JonguoLib</artifactId>
			<version>${jonguoLib.version}</version>
		</dependency>
		<dependency>
			<groupId>com.jonguo</groupId>
			<artifactId>HighEncoder</artifactId>
			<version>${HighEncoder.version}</version>
		</dependency>
		<dependency>
			<groupId>com.jonguo</groupId>
			<artifactId>RedisTool</artifactId>
			<version>${RedisTool.version}</version>
		</dependency>
		<dependency>
			<groupId>redis.clients</groupId>
			<artifactId>jedis</artifactId>
			<version>2.9.0</version>
		</dependency>
	 	<dependency>
	 		<groupId>commons-logging</groupId>
	 		<artifactId>commons-logging</artifactId>
	 		<version>${comLog.version}</version>
	 	</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-api</artifactId>
			<version>${slf4j.version}</version>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-log4j12</artifactId>
			<version>${slf4j.version}</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-core-asl</artifactId>
			<version>${jackson.version}</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-core-lgpl</artifactId>
			<version>${jackson.version}</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-jaxrs</artifactId>
			<version>${jackson.version}</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-mapper-asl</artifactId>
			<version>${jackson.version}</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-mapper-lgpl</artifactId>
			<version>${jackson.version}</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-smile</artifactId>
			<version>${jackson.version}</version>
		</dependency>
		<dependency>
			<groupId>org.codehaus.jackson</groupId>
			<artifactId>jackson-xc</artifactId>
			<version>${jackson.version}</version>
		</dependency>		
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-aop</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-beans</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-context-support</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-context</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-core</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-expression</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-web</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-webmvc</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-webmvc-portlet</artifactId>
			<version>${spring.version}</version>
		</dependency>
		<dependency>
			<groupId>org.mortbay.jetty</groupId>
			<artifactId>servlet-api-2.5</artifactId>
			<version>6.1.14</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.aspectj</groupId>
			<artifactId>aspectjweaver</artifactId>
			<version>1.6.8</version>
		</dependency>
		<dependency>
			<groupId>org.freemarker</groupId>
			<artifactId>freemarker</artifactId>
			<version>2.3.16</version>
		</dependency>
		<dependency>
			<groupId>joda-time</groupId>
			<artifactId>joda-time</artifactId>
			<version>2.7</version>
		</dependency>
		<dependency>
			<groupId>commons-lang</groupId>
			<artifactId>commons-lang</artifactId>
			<version>2.6</version>
		</dependency>
		<dependency>
			<groupId>org.apache.activemq</groupId>
			<artifactId>activemq-all</artifactId>
			<version>5.14.1</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-jms</artifactId>
			<version>${spring.version}</version>
		</dependency>
		
		<!-- https://mvnrepository.com/artifact/com.codeborne/phantomjsdriver -->
		<dependency>
		    <groupId>com.codeborne</groupId>
		    <artifactId>phantomjsdriver</artifactId>
		    <version>1.2.1</version>
		</dependency>
		
	</dependencies>
	

	<build>
		<finalName>${project.artifactId}-${project.version}</finalName>
		<sourceDirectory>${basedir}/src/main/java</sourceDirectory>
		<outputDirectory>${basedir}/src/main/webapp/WEB-INF/classes</outputDirectory>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<configuration>
					<source>1.8</source>
					<target>1.8</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
			<plugin>
				<artifactId>maven-resources-plugin</artifactId>
				<executions>
					<execution>
						<id>copy-resources</id>
						<phase>process-resources</phase>
						<goals>
							<goal>copy-resources</goal>
						</goals>
						<configuration>
							<overwrite>true</overwrite>
							<sourceDirectory>${basedir}/src/main/java</sourceDirectory>
							<outputDirectory>${basedir}/src/main/webapp/WEB-INF/classes</outputDirectory>
							<resources>
								<resource>
									<directory>src/main/resources/env/${env}</directory>
									<targetPath>${basedir}/src/main/webapp/WEB-INF/classes/conf</targetPath>
								</resource>
							</resources>
						</configuration>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>
</project>

工具类源码如下（小说）：

package com.zhy.crawler.base;

import java.io.File;
import java.io.FileOutputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.TimeUnit;

import org.openqa.selenium.By;
import org.openqa.selenium.NoSuchElementException;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.phantomjs.PhantomJSDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriverService;
import org.openqa.selenium.remote.DesiredCapabilities;

public class NovelCrawler {
	
	/**  
	* @Title: NovelCrawler.java  
	* @Package com.zhy.crawler.base  
	* @Description: 小说爬取工具 
	* @author John_Hawkings
	* @date 2018年6月1日  
	* @version V1.0  
	*/  
	public static void main(String[] args) {
		//设置必要参数
        DesiredCapabilities dcaps = new DesiredCapabilities();
        //ssl证书支持
        dcaps.setCapability("acceptSslCerts", true);
        //截屏支持
        dcaps.setCapability("takesScreenshot", true);
        //css搜索支持
        dcaps.setCapability("cssSelectorsEnabled", true);
        //js支持
        dcaps.setJavascriptEnabled(true);
        //驱动支持
        dcaps.setCapability(PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY,"D:\\Devlop\\PhantomJS\\phantomjs-2.1.1-windows\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe");
        //创建无界面浏览器对象
        PhantomJSDriver driver = new PhantomJSDriver(dcaps);
        try {
            // 让浏览器访问空间主页
            // driver.manage().timeouts().implicitlyWait(5, TimeUnit.SECONDS);
             driver.get("http://www.biqule.com/book_57885/");
            // driver.manage().timeouts().implicitlyWait(5, TimeUnit.SECONDS);
             Thread.sleep(1000L);
             WebElement  webElement = driver.findElementByClassName("article-list");
             List<WebElement> elements = webElement.findElements(By.tagName("dd"));
             List<String> linkLst = new ArrayList<>();
             for (int i = 0;i< elements.size();i++) {
            	 if(doesWebElementExist(elements.get(i),By.tagName("a"))) {
            		 linkLst.add(elements.get(i).findElement(By.tagName("a")).getAttribute("href"));
 				}
             }
             for (int i = 0;i< linkLst.size();i++) {
	            driver.get(linkLst.get(i));
	            //获取新页面窗口句柄并跳转
	            String windowHandle = driver.getWindowHandle();
	            driver.switchTo().window(windowHandle);
	            driver.manage().timeouts().implicitlyWait(3, TimeUnit.SECONDS);
	            String text = driver.findElementById("content").getText();
	            File file  = new File("D:\\Novel\\极道天魔.txt");
	            if(!file.exists()) {
	            	file.createNewFile();
	            }
	            //2: 实例化OutputString 对象
	            FileOutputStream output = new FileOutputStream(file,true);
	            //3: 准备好实现内容的输出
	            //将字符串变为字节数组
	            byte data[] = text.getBytes();
	            output.write(data);
	            //4: 资源操作的最后必须关闭
	            output.close();
			}
            } catch (Exception e) {
                 e.printStackTrace();
             }finally{
                 //关闭并退出浏览器
                 driver.close();
                 driver.quit();
             }
        
	}
	
	public static boolean doesWebElementExist(WebElement element, By selector)
	  { 
	  
	         try 
	          { 
	        	 element.findElement(selector); 
	                 return true; 
	          } 
	          catch (NoSuchElementException e) 
	         { 
	                 return false; 
	         } 
	 }    

}

工具类源码如下（图片）：

package com.zhy.crawler.base;

import java.awt.image.BufferedImage;
import java.io.File;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.TimeUnit;

import javax.imageio.ImageIO;

import org.openqa.selenium.By;
import org.openqa.selenium.NoSuchElementException;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.phantomjs.PhantomJSDriver;
import org.openqa.selenium.phantomjs.PhantomJSDriverService;
import org.openqa.selenium.remote.DesiredCapabilities;

public class GirlsCrawler {
	
	/**  
	* @Title: NovelCrawler.java  
	* @Package com.zhy.crawler.base  
	* @Description: 小说爬取工具 
	* @author John_Hawkings
	* @date 2018年6月1日  
	* @version V1.0  
	*/  
	public static void main(String[] args) {
		//设置必要参数
        DesiredCapabilities dcaps = new DesiredCapabilities();
        //ssl证书支持
        dcaps.setCapability("acceptSslCerts", true);
        //截屏支持
        dcaps.setCapability("takesScreenshot", true);
        //css搜索支持
        dcaps.setCapability("cssSelectorsEnabled", true);
        //js支持
        dcaps.setJavascriptEnabled(true);
        //驱动支持
        dcaps.setCapability(PhantomJSDriverService.PHANTOMJS_EXECUTABLE_PATH_PROPERTY,"D:\\Devlop\\PhantomJS\\phantomjs-2.1.1-windows\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe");
        //创建无界面浏览器对象
        PhantomJSDriver driver = new PhantomJSDriver(dcaps);
        try {
            // 让浏览器访问图片主页
             driver.get("http://www.94img.com/photos/QingDouKe-16286.html");
             Thread.sleep(1000L);
             List<WebElement> girlElements = driver.findElementsByClassName("gallary_item");
             List<String> linkLst = new ArrayList<String>();
             //获取第一页的类容放入集合中
             for (WebElement webElement : girlElements) {
            	 linkLst.add(webElement.findElement(By.tagName("img")).getAttribute("src"));
			 }
             //获取后几页内容放入集合中
             WebElement xPath = driver.findElementByXPath("//*[@id=\"bodywrap\"]/table/tbody/tr/td/div/div[1]/div/div[10]");
             List<WebElement> pageElements = xPath.findElements(By.tagName("a"));
             String pageSize = pageElements.get(pageElements.size()-2).getText();
             for(int i = 2;i<Integer.valueOf(pageSize)+1;i++) {
            	 driver.get("http://www.94img.com/photos/QingDouKe-16286-"+i+".html");
            	 String windowHandle = driver.getWindowHandle();
 	            driver.switchTo().window(windowHandle);
 	            driver.manage().timeouts().implicitlyWait(3, TimeUnit.SECONDS);
 	           girlElements = driver.findElementsByClassName("gallary_item");
 	             //获取后几页的类容放入集合中
 	             for (WebElement webElement : girlElements) {
 	            	 linkLst.add(webElement.findElement(By.tagName("img")).getAttribute("src"));
 				 }
             }
             //遍历图片链接集合下载图片到本地
             HttpURLConnection connection=null;  
             URL url=null;  
            	 for (int k =0;k<linkLst.size();k++) {
            		 System.out.println("第"+(k+1)+"张图片下载成功");
            		  url = new URL(linkLst.get(k));  
                      connection=(HttpURLConnection) url.openConnection();  
                      int code=connection.getResponseCode();  
	                  if(code == 200){  //响应成功  
	                        BufferedImage image=ImageIO.read(connection.getInputStream()); //读取图片文件流  
	                        String path="D:\\Novel\\Girls\\2\\"+(k+1)+".jpeg";  //创建存储图片文件的路径  
	                        File file=new File(path);  
	                        ImageIO.write(image,"jpeg",  file);  //将图片写进创建的路径  
	                    }  
				}
            } catch (Exception e) {
                 e.printStackTrace();
             }finally{
                 //关闭并退出浏览器
                 driver.close();
                 driver.quit();
             }
        
	}
	
	public static boolean doesWebElementExist(WebElement element, By selector)
	  { 
	  
	         try 
	          { 
	        	 element.findElement(selector); 
	                 return true; 
	          } 
	          catch (NoSuchElementException e) 
	         { 
	                 return false; 
	         } 
	 }    

}
思路：

      获取小说或者图片的所有连接加入到一个集合里面然后遍历集合依次访问页面获取数据，有人会问为什么不在获取主页面数据时一次性写完爬虫，因为这里面会存在一个小问题，就是在多个页面跳转的时候连接会失效，这个问题可以解决但是有点繁琐这里不多说，我们以最通俗易懂的方式来写方便记忆与学习


总结：

       phantomJS+selenium真的很好用，特别是它支持的截图功能在特定的需求下完全就是个神器，这里不多说，后面有更多的爬虫实例演示。欢迎小伙伴留言互相交流

Smile_Miracle
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
09-20
主要介绍了Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
使用selenium的方式获取网页中图片的链接和网页的链接，来判断是否是死链（二）...
weixin_30897233的博客
08-04 1875
上一篇使用Java正则表达式来判断和获取图片的链接以及跳转的网址，这篇使用selenium的自带的API（getAttribute）来获取网页中指定的内容 实现内容：获取下面所有图片的链接地址以及跳转地址，使用get请求判断是否有死链 页面内容如图： 页面的源码,需要获取页面的href后的地址，以及src后的地址，: 代码实现可以看出图片都在一个div中，实现的思想为：获...
selenium测试（Java）--截图（十九）
dbkahhs97022的博客
08-05 89
package com.test.screenshot; import java.io.File; import java.io.IOException; import org.apache.commons.io.FileUtils; import org.openqa.selenium.OutputType; import org.openqa.selenium....
selenium进行xhs图片爬虫：02根据图片链接保存图片
最新发布
knighthood2001
05-09 278
📚✨🎃。
java获取https图片,使用Java从https获取图像
weixin_34514378的博客
02-13 1476
Is there a way to get images from a https url with Java?What I am trying so far:URL url = new URL("https://ns6.host.md:8443/sitepreview/http/zugo.md/media/images/thumb/23812__yu400x250.jpg");System.ou...
selenium+java爬取图片
小魏快起床的博客
09-21 2131
看很多大佬都在用python爬取图片，其实java也可以啦，这里就通过一个例子来跑一把啦
使用selenium+phantomjs实现对指定页面的指定元素截图(包含隐藏区域)
u014086054的博客
05-05 1349
一.引入类库，pom.xml文件配置如下 <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>3.2.0</version> &lt...
PhantomJs+selenium webdriver+验证码识别
11-20
PhantomJs是一款无头浏览器，它允许你在没有GUI（图形用户界面）的情况下运行JavaScript和WebPage，这在自动化测试和网页抓取时非常有用。Selenium WebDriver是一个用于自动化浏览器的工具，它可以控制浏览器进行...
C#使用Selenium+PhantomJS抓取数据
08-31
本文将详细介绍如何在C#环境中利用Selenium WebDriver和PhantomJS来抓取此类网页的数据。 首先，PhantomJS是一款无头浏览器，即它没有图形用户界面，但能够像普通浏览器一样加载和执行JavaScript，这对于网页抓取...
python爬虫selenium和phantomJs使用方法解析
09-18
在使用Selenium和PhantomJS进行爬虫时，应遵循网站的robots.txt规则，尊重网站的爬虫政策，避免频繁请求导致IP被封。同时，可以使用代理IP或设置延迟来提高爬虫的稳定性。 总结，Selenium和PhantomJS为Python爬虫...
Selenium+Phantomjs做Java爬虫
二月初二
09-09 4598
背景 以前，觉得爬虫是不稳定的，而且不被业界允许的，从来没想过会在实际的项目中使用。现在，由于各种突发情况，必须使用爬虫才能完成相应任务。起初，觉得爬虫不过是爬取网页，解析网页就可以了，比较简单，谁知一路心酸泪。 查阅各种资料，Java相关的爬虫工具也比较多，由于时间关系，只简单看了下面几种，分析如下： HtmlUnit webmagic ...
selenium-java-2.53.0最全jar，phantomjs.zip，实例代码，亲测可用
12-17
selenium+phantomjs无窗口浏览器，全jar包，亲测可用，实例代码加载百度
selenium+phantomjs+java
06-10
phantomjs,所有依赖项都已打包，导入eclipse直接运行
java调用phantomJs进行网页截图源码
12-19
java调用phantomJs进行网页截图源码，有需要的朋友自行下载
Java爬虫进阶-Selenium+PhantomJs的运用
热门推荐
Smile_Miracle的博客
04-26 2万+
selenium Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建衰退测试检验软件功能和用户需求。支持自动录制动作
Java之网络爬虫WebCollector+selenium+phantomjs(二)
oSayMissyou0的专栏
10-27 9728
上一篇做小例子的时候，在获取页面上价格的时候发现，获取不到，查了下说是webcollector需要结合selenium与phantomjs来获取js生成的动态。下面就做个例子来学习。 准备材料在上一篇已经准备完毕，我是在windows系统上进行的测试，所以phantomjs运行环境下载phantomjs-windows下载即可，下载后解压到某个文件夹即可(可以把解压路径添加到环境变量里，如果没有
Java之网络爬虫WebCollector+selenium+phantomjs(一)
oSayMissyou0的专栏
10-24 1万+
java 爬虫学习 webcollector+selenium+phantomjs
java使用phantomjs进行截图
小气鬼Sweet的博客
10-08 2339
断断续续查找资料、验证不同的实现方法终于算基本搞定了页面截图，因为中间过程曲折花费较多时间，分享出来帮助大家快速实现截图 为什么选用phantomjs进行截图 截图可以实现的方式有很多，比如： selenium HtmlUnit Html2Image 、、、and so on 但是这些实现的截图效果都不好。selenium只能实现截屏，不能截取整个页面，而HtmlUnit、Html2Imag...
网络爬虫 之 PhantomJS技术实战
05-17
本课程使用java作为编程语言，主要内容包括爬虫的基本原理，使用Phantomjs技术抓取拉钩企业招聘信息进行系统分析、Phantomjs的详细使用方法，如何使用Phantomjs分析html代码，基于队列的爬虫、数据存储、数据拆分、爬虫限速、网页跟踪，脚本注入等技术。任务作业：请抓取拉钩企业招聘数据进行企业岗位数据分析实战《各大城市招聘状况分析》。（注意： 作业需写在CSDN博客中，请把作业链接贴在评论区，老师会定期逐个批改~~）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值