网络爬虫——爬取京东数据

下面是我的代码框架（请先看代码需要改进的地方）

需要改进的是

1、采用双缓冲队列，即两个队列，可以理解为一个队列用于生产者的数据写入，一个用于消费者的数据读取，当消费者队列没有数据从生产者队列获取，减少锁的竞争。
2、使用selenium（webdriver）连接池（在另一个中会有）。
3、代码过于繁琐与冗余，可以进行精简（这个可能没时间了）。

架构及代码详细说明（后面附上我的完整代码）

1、model中包括一个模型，该模型表示我要爬取的京东的信息。比如一本书包括书的识别码，名字，价格，出版社等信息。
2、runmain中包含两个包，一个是运行包（有main函数，消费者-生产者模型），一个是需要调用包（作用是对字符串进行拼接以获取全部的要提取信息的url）。
3、thread包中是消费者-生产者模型，product和consumer。具体请看代码。
4、downloader中包括下载的所有类，需要有selenium基础。
5、analysis中包括所有解析的类，需要有selenium基础。
6、bloomFilterpack这是一个过滤器。
7、database数据库的有关操作，需要有mongodb基础，redis基础。

架构思路

1、首先获取京东官网的所有要爬取的数据（分类信息）。如下图所示，箭头所指方向即为要获取的分类信息。获取该部分所有的数据并存入redis数据库，具体看下方代码及注释。

解释：下图中蓝色的代码刚开始不显示，只有鼠标移动到上图右边红框上才会显示该部分代码。

package runmain;

/**
 1. 
 

创建时间：2019年1月18日 下午6:43:11
 3. 
 4. 项目名称：integration_zhong
 5. 
 6. @author 王锋洲
 7. 
 8. @version 1.0
 9. 
 10. @since JDK 1.8
 11. 
 12.        文件名称：run_project.java
 13. 
 14.        类说明：主类，调用方法将所有分类信息插入到数据库并进行后续操作。
 15.

 */
public class RunProject {

	public static void main(String[] args) {
		Jedis jedis = new Jedis("192.168.50.194");
		jedis.flushAll();
		
		InitRedis init = new InitRedis();
		init.Init();

		//获取首页内容
		GetContent content=new GetContent();
		//调用方法，代码如下
		content.getcontenttext();
		
		System.out.println("title success");

	}
}

public void getcontenttext()
	{

		try {
		    /*调用GetContent()方法，该方法以GetDownload_html方法返回值作为参数*/
			ana_content.GetContent(down.GetDownload_html(base.GetToVisit()));
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
	}

public class AnalysisContent
{
	List<String> list = new ArrayList<String>();
	Jedis jedis=new Jedis();
	RedisBase jedis_content=new RedisBase();
	public void GetContent(String result)
	{
		//这里可以用正则解析，具体可以自己编写
		//用Jsoup解析代码
		Document doc=Jsoup.parse(result);
		
		Elements links = doc.select("div[class=JS_popCtn cate_pop]").select("div[class=cate_part clearfix]").select("div[class=cate_part_col1]").select("dd[class=cate_detail_con]").select("a[href]");
		for(Element link:links)
		{
			String content="";
			content=link.attr("title");
			if(content.isEmpty())
			{
				content=link.text();
				if((content.isEmpty()))
				{
					continue;
				}
			}
			if(content.length()>5)
			{
				continue;
			}
			this.list.add(content);
		}
		//添加到redis数据库
		jedis_content.AddToVisitTitle(list);
	}
}

public class DownloadHtml {
	private String downloadresult;

	public void StartDownload(String download_url) throws InterruptedException {
			System.setProperty("webdriver.chrome.driver", "G:\\Tools\\chromedriver.exe");// 相当于一个静态变量 ，存在内存里面！
			ChromeOptions option = new ChromeOptions();
			option.setBinary("D:/Google/Chrome/Application/chrome.exe");
			option.setHeadless(true);
			WebDriver driver = new ChromeDriver(option);
			driver.manage().window().maximize();
			driver.manage().timeouts().implicitlyWait(5, TimeUnit.SECONDS);//
			// 全局等待元素TimeUnit.SECONDS 线程
//			JavascriptExecutor js = (JavascriptExecutor) driver;
			driver.get(download_url);
//			js.executeScript("window.scrollTo(0,document.body.scrollHeight)");
			Thread.sleep(3000);
			Actions action=new Actions(driver);
			/*模拟鼠标移动到该元素上*/
			action.moveToElement(driver.findElement(By.xpath("//div[@id='J_cate']/ul/li/a"))).perform();
			
			try {
				Thread.sleep(3000);
			downloadresult=driver.getPageSource();
		} catch (Exception e) {
			e.printStackTrace();
		}
		finally
		{
			driver.quit();
			System.out.println("已关闭3");
		}
	}
	//该方法调用StartDownload()函数
	public String GetDownload_html(String download_url) throws InterruptedException {
		this.StartDownload(download_url);
		return this.downloadresult;
	}
}

redis数据库执行结果如下图

2、经过第一步的实现，将所有类别都加入了Redis数据库。使用生产者-消费者模型对数据进行精细处理。
解释1：当生产者的待处理队列不为空时，进行生产者睡眠，这时消费开始处理队列反之，当待处理队列为空时，生产者运行，存储数据到待处理队列 。
解释2：使用Future处理，防止中断，或者使用try–catch–finally进行代替。
（1）生产者从redis数据库中获取一个分类信息，使用selenium自动测试模拟输入商品类别并模拟点击“搜索按钮”以获取当前url，再对该url进行拼接并存入到redis待处理队列中。具体看代码注释。

//生产者
public void produce() {

		lock.lock();
		try {
			//待处理队列非空，则睡眠
			while (!base.ToVisitEmpty()) {
				System.out.println("生产者" + Thread.currentThread().getName() + " waiting");
				condition.await();
			}
			// while (!base.ToVisitEmptyTitle()) {
			// 获取数据

			ExecutorService executor = Executors.newSingleThreadExecutor();
			//FutureTask处理，预防中断代码的执行。这个代码不是很好。
			FutureTask<String> future = new FutureTask<String>(new Callable<String>() {
			// 使用Callable接口作为构造参数
				@Override
				public String call() throws IOException {
					//获取一个分类信息
					String title = base.GetToVisitedTitle();
					//添加到已访问的分类数据队列
					base.AddVisitedTitle(title);
					// 字符串拼接
					pingjie.geturl(title);

					Long length1 = jedis.llen("toVisitTitle");
					Long length2 = jedis.llen("toVisit");
					System.out.println("toVisitTitle当前长度：" + length1);
					System.out.println("toVisit当前长度：" + length2);

					return "执行成功";
				}
			});
			executor.execute(future);
			try {
				String result = future.get(3000, TimeUnit.MILLISECONDS); // 取得结果，同时设置超时执行时间为5秒。同样可以用future.get()，不设置执行超时时间取得结果
				System.out.println(result);
			} catch (InterruptedException e) {
				System.out.println("produceInterruptedException：error");
			} catch (ExecutionException e) {
				System.out.println("produceExecutionException：error");
			} catch (TimeoutException e) {
				System.out.println("produceTimeoutException：error");
			} finally {
				executor.shutdown();
			}

			// }
			condition.signalAll();
			System.out.println("消费者" + Thread.currentThread().getName() + " Runnable");
		} catch (InterruptedException e) {
			e.printStackTrace();
		} finally {
			lock.unlock();
		}
	}

package runmain;

import java.util.LinkedList;
import java.util.concurrent.TimeUnit;

import javax.servlet.ServletContext;
import javax.servlet.http.HttpSession;

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait;

import analysis.AnalysisUrl;
import analysis.AnalysisPage;
import database.redis.RedisBase;
import downloader.DownloadTitleHtml;

/**

* 创建时间：2019年1月19日 上午10:05:25  

* 项目名称：integration_zhong  

* @author 王锋洲

* @version 1.0

* @since JDK 1.8 

* 文件名称：String_pingjie.java  

* 类说明：  拼接url，调用的类库有 AnalysisUrl，AnalysisPage，RedisBase，DownloadTitleHtml

*/
public class StringGetAllUrl
{
	AnalysisPage ana_page=new AnalysisPage();
	//下载页面
	DownloadTitleHtml down_html=new DownloadTitleHtml();
	//rdis数据库操作
	RedisBase base = new RedisBase();
	//解析页面
	AnalysisUrl anaurl=new AnalysisUrl();
	//传递要处理的分类数据，进行拼接操作
	public void geturl(String title)
	{
		System.out.println("解析当前url");
		String currenturl=anaurl.AnalysisCurrentUrl(title);
		
		System.out.println("currenturl"+currenturl);
		//生产者中对url进行截取与拼接，以产生不同的页码对应的不同url
		String[] str1 = currenturl.split("&");
		String url1 = str1[0] + "&" + str1[1]+"&page=";
		
		System.out.println("解析当前页面页数");
		int n=ana_page.GetPage(down_html.GetTitleHtml(title));
		//该拼接方式不完善，会漏抓数据，请改进或者使用selenium一页一页的模拟点击
		for(int i=1;i<=n*2;i++)
		{
			String url2=url1+i;
			//加入到redis数据库中
			base.AddToVisit(url2);
			//System.out.println("插入成功");
			i++;
		}
	}
}

//获取当前url并返回，该方法在上面被调用
public String AnalysisCurrentUrl(String title)
	{
		String current_url ="";
		System.setProperty("webdriver.chrome.driver", "G:\\Tools\\chromedriver.exe");// 相当于一个静态变量 ，存在内存里面！
		ChromeOptions option = new ChromeOptions();
		option.setBinary("D:/Google/Chrome/Application/chrome.exe"); 
		option.setHeadless(true);
		WebDriver driver = new ChromeDriver(option);
		driver.manage().window().maximize();
		driver.manage().timeouts().implicitlyWait(7, TimeUnit.SECONDS);// 全局等待元素TimeUnit.SECONDS 线程
		String url = "https://www.jd.com/";
		try
		{
			driver.get(url);
		}
		catch(Exception ew)
		{
			ew.printStackTrace();
		}
		WebDriverWait webDriverWait = new WebDriverWait(driver, 5);
		webDriverWait.until(ExpectedConditions.elementToBeClickable(By.id("key"))).sendKeys(title);
		webDriverWait.until(ExpectedConditions.elementToBeClickable(By.xpath("//div[@id='search']/div/div[2]/button"))).click();
		try {
			Thread.sleep(5000);
			current_url = driver.getCurrentUrl();
			
		} catch (InterruptedException e1) {
			e1.printStackTrace();
		}
		
		driver.quit();
		System.out.println("已关闭1");
		try {
			current_url = new String(current_url.getBytes("iso-8859-1"), "utf-8");
		} catch (UnsupportedEncodingException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return current_url;
		
	}

//获取页面的html代码
public String GetTitleHtml(String title) {
		String downloadresult = "";
		try {
			System.out.println("GetTitleHtml");
			System.setProperty("webdriver.chrome.driver", "G:\\Tools\\chromedriver.exe");// 相当于一个静态变量 ，存在内存里面！
			ChromeOptions option = new ChromeOptions();
			option.setBinary("D:/Google/Chrome/Application/chrome.exe");
			option.setHeadless(true);
			WebDriver driver = new ChromeDriver(option);
			driver.manage().window().maximize();
			driver.manage().timeouts().implicitlyWait(5, TimeUnit.SECONDS);// 全局等待元素TimeUnit.SECONDS 线程
			String url = "https://www.jd.com/";
			try
			{
				Thread.sleep(2000);
				driver.get(url);//时间超时
			}
			catch(Exception e)
			{
				e.printStackTrace();
			}
			WebDriverWait webDriverWait = new WebDriverWait(driver, 5);
			webDriverWait.until(ExpectedConditions.elementToBeClickable(By.id("key"))).sendKeys(title);
			webDriverWait
					.until(ExpectedConditions.elementToBeClickable(By.xpath("//div[@id='search']/div/div[2]/button")))
					.click();
			try {
				Thread.sleep(3000);
				downloadresult = driver.getPageSource();//时间超时
			} catch (Exception e1) {
				e1.printStackTrace();
			}
			driver.quit();

			System.out.println("已关闭2");
		} catch (Exception e) {
			e.printStackTrace();
		}
		return downloadresult;
	}

//解析当前页面的html代码以获取页码并返回
public int GetPage(String result)
	{
		Document doc=Jsoup.parse(result);
		String link=doc.getElementById("J_topPage").select("span[class=fp-text]").select("i").text();
		if(link.isEmpty())
		{
			return 0;
		}
		return Integer.parseInt(link);
	}

（2）消费者从待处理队列中取出url（用多线程）对该url进行获取页面数据->解析要获取的数据->存入到mongodb数据库过程。具体看代码注释。

//消费者
	public void consumer() {
		lock.lock();
		try {
			//当待处理队列为空则该线程睡眠
			while (base.ToVisitEmpty()) {
				System.out.println("消费者" + Thread.currentThread().getName() + " waiting");
				condition.await();
			}
			//当待处理队列非空时一直处理直到处理完毕
			while (!base.ToVisitEmpty()) {

				ExecutorService executor = Executors.newSingleThreadExecutor();
				FutureTask<String> future = new FutureTask<String>(new Callable<String>() {
				// 使用Callable接口作为构造参数
					@Override
					public String call() throws IOException, InterruptedException {

						// 从数据库中取数据读取链接
						String aimurl = base.GetToVisit();
						String aimhtml = "";
						// 下载aimurl的全部的HTML资源用于解析数据，这里和上面的的方法大体一样，就不一一赘述了
						aimhtml = get.GetAllHtml_aimurl(aimurl);
						//解析数据并存到mongodb数据库，看下面代码
						ana_value.deal_download_result(aimhtml);
						
						System.out.println("ana_value");
						System.out.println("aimurl:" + aimurl);
						//添加到已处理队列
						base.AddVisited(aimurl);

						return "执行成功";
						
					}
				});
				executor.execute(future);
				// 在这里可以做别的任何事情
				try {
					String result = future.get(3000, TimeUnit.MILLISECONDS); 
					// 取得结果，同时设置超时执行时间为5秒。同样可以用future.get()，不设置执行超时时间取得结果
					System.out.println(result);
				} catch (InterruptedException e) {
					System.out.println("consumerInterruptedException：error");
				} catch (ExecutionException e) {
					System.out.println("consumerExecutionException：error");
				} catch (TimeoutException e) {
					System.out.println("consumerTimeoutException：error");
				} finally {
					executor.shutdown();
				}

			}
			//唤醒线程
			condition.signalAll();
			System.out.println("生产者" + Thread.currentThread().getName() + " Runnable");
		} catch (InterruptedException e) {
			e.printStackTrace();
		} finally {
			lock.unlock();
		}
	}

	//处理解析数据存入mongodb数据库
	public void deal_download_result(String downloadresult) {
		List<org.bson.Document> data = new ArrayList<org.bson.Document>();
		//使用jsoup解析，可以用正则替代，xpath也可以
		Document doc = Jsoup.parse(downloadresult);
		Elements elements = doc.select("ul[class=gl-warp clearfix]").select("li[class=gl-item]");
		String name = "";
		String price = "";
		String publish = "";
		String href = "";
		String Textcommit = "";
		String commith = "";
		for (Element ele : elements) {

			id++;
			name = ele.select("div[class=p-name p-name-type-2]").select("a").select("em").text();
			price = ele.select("div[class=p-price]").select("strong").select("i").text().trim();
			publish = ele.select("div[class=p-shop]").select("a").attr("title");
			href = ele.select("div[class=p-name p-name-type-2]").select("a").attr("href");
			Textcommit = ele.select("div[class=p-commit]").select("strong").select("a").text();
			commith = ele.select("div[class=p-commit]").select("strong").select("a").attr("href");

			if (publish.isEmpty()) {
				publish = "未知出版社";
			}
			org.bson.Document document = new org.bson.Document("name", name)
					.append("price", price)
					.append("publish", publish)
					.append("href", href)
					.append("Textcommit", Textcommit)
					.append("commith", commith);

			data.add(document);
		}
		BatchData bachdata=new BatchData();
		bachdata.data_batch(data);

完整代码：https://gitee.com/zfenghan/internet_worm.git