利用HttpClient、HtmlParser简单实现网络爬虫

最新推荐文章于 2021-02-13 09:48:00 发布
最新推荐文章于 2021-02-13 09:48:00 发布
阅读量1k 收藏 2
点赞数
分类专栏： 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feishiqin/article/details/8773009
版权

  1. 下载必备的jar包

  2. 新建一个java项目

    • 解压刚才下载的压缩文件，将以下包导入新建项目

  3. 封装工具包，便于代码复用

    • 这是我自己封装的工具包
    • HttpUtil.java
    package com.yinzhengfei.spider.util;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;

import org.apache.commons.io.IOUtils;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.util.EntityUtils;

/**
 * @author	尹正飞
 * @Email	feld_yin@163.com
 * @qq		657812595 
 * @version 2013-3-28 下午4:28:56 
 */

public class HttpUtil {
	
	public static String getHtml(HttpClient httpClient,String url){
		
		StringBuffer html = null;
		try {
			HttpGet httpGet = new HttpGet(url);
			HttpResponse ht = httpClient.execute(httpGet);
			HttpEntity entity = ht.getEntity();
			String charset = EntityUtils.getContentCharSet(entity);
			InputStream in = entity.getContent();
//			System.out.println("相应的字符集是："+charset);
//			本来应该是这样的 BufferedReader br = new BufferedReader(new InputStreamReader(in,charset));
//			有些网站获取不到编码方式，会报空指针，这个有待改进，所以我强制写成utf-8
			BufferedReader br = new BufferedReader(new InputStreamReader(in,"utf-8"));
			String lineString = null;
			html = new StringBuffer();
			while((lineString = br.readLine())!= null){
				html.append(lineString);
			}
			br.close();
		} catch (Exception e) {
			e.printStackTrace();
		} 
		
		return html.toString();
	}
	
	public static byte [] getImage(HttpClient httpClient,String url){
		
		try {
			HttpGet httpGet = new HttpGet(url);
			HttpResponse ht = httpClient.execute(httpGet);
			HttpEntity entity = ht.getEntity();
			InputStream in = entity.getContent();
			return IOUtils.toByteArray(in);
		} catch (Exception e) {
			e.printStackTrace();
		} 
		
		return null;
	}

}

     
    • ParserHtmlUtil.java

    package com.yinzhengfei.spider.util;

import java.util.ArrayList;
import java.util.List;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.nodes.TagNode;
import org.htmlparser.util.NodeList;

/**
 * @author	尹正飞
 * @Email	feld_yin@163.com
 * @qq		657812595 
 * @version 2013-3-28 下午3:11:13 
 */

public class ParserHtmlUtil {
	
	/**
	 * 提取某个属性值的标签列表
	 * @param html	被提取HTML文本
	 * @param tagType	标签类型
	 * @param attributeName	某个属性名称
	 * @param attributeValue	属性的值
	 * @return
	 */
	public static <T extends TagNode> List<T> parserTags(String html, final Class<T> tagType, final String attributeName, final String attributeValue){
		
		if(html == null || tagType == null)
			return null;
		
		Parser parser = new Parser();
		NodeList nodeList = null;
		try {
			parser.setInputHTML(html);
			nodeList = parser.parse(new NodeFilter() {
				private static final long serialVersionUID = 1L;
				@Override
				public boolean accept(Node node) {
					
					if(node.getClass() != tagType)
						return false;
					
					if(attributeName == null && attributeValue == null)
						return true;
					
					T tt = (T)node;
					if(attributeValue.equals(tt.getAttribute(attributeName)))
						return true;
					
					return false;
				}
			});
		} catch (Exception e) {
			e.printStackTrace();
		}
		
		List<T> list = new ArrayList<T>();
		for(int i=0; i<nodeList.size(); i++){
			list.add((T) nodeList.elementAt(i));
		}
		
		return list;
	}
	
	/**
	 * 提取某种类型的标签列表
	 * @param html	被提取HTML文本
	 * @param tagType	标签类型
	 * @return
	 */
	public static <T extends TagNode> List<T> parserTags(String html, final Class<T> tagType){
		return parserTags(html, tagType, null, null);
	}
	
	/**
	 * 提取某个属性值的标签
	 * @param html	被提取HTML文本
	 * @param tagType	标签类型
	 * @param attributeName	某个属性名称
	 * @param attributeValue	属性的值
	 * @return
	 */
	public static <T extends TagNode> T parserTag(String html, final Class<T> tagType, final String attributeName, final String attributeValue){
		List<T> list = parserTags(html, tagType, attributeName, attributeValue);
		if(list != null && list.size() > 0)
			return list.get(0);
		return null;
	}
	
	/**
	 * 提取某种类型的标签
	 * @param html	被提取HTML文本
	 * @param tagType	标签类型
	 * @return
	 */
	public static <T extends TagNode> T parserTag(String html, final Class<T> tagType){
		List<T> list = parserTags(html, tagType, null, null);
		if(list != null && list.size() > 0)
			return list.get(0);
		return null;
	}

}


  4. 抓取一个网站信息（抓取时，先要了解此网站页面信息的规律，这个可以用firebug，我这里测试抓取的是薄荷网食物库常见菜肴）

  • 根据网站页面封装一下抓取信息（我这里只演示抓取菜肴分类、菜肴名称、菜肴能量、菜肴制作烹饪类型（其中菜肴分类、烹饪类型是可以再封装，我这里就不在详细封装了））

Dish.java

/**
 * @author	尹正飞
 * @Email	feld_yin@163.com
 * @qq		657812595 
 * @version 2013-4-2 下午4:40:49 
 */

public class Dish {
	
	private String category;
	private String name;
	private String energy;
	private String cookType;
	
	public String getCategory() {
		return category;
	}
	public void setCategory(String category) {
		this.category = category;
	}
	public String getName() {
		return name;
	}
	public void setName(String name) {
		this.name = name;
	}
	public String getEnergy() {
		return energy;
	}
	public void setEnergy(String energy) {
		this.energy = energy;
	}
	public String getCookType() {
		return cookType;
	}
	public void setCookType(String cookType) {
		this.cookType = cookType;
	}
	@Override
	public String toString() {
		return "Dish [category=" + category + ", name=" + name + ", energy="
				+ energy + ", cookType=" + cookType + "]";
	}

}

  • 这里只是简单的抓取，我就没太多的封装，大家可以根据自己需求封装

Test.java

import java.util.ArrayList;
import java.util.List;


import org.apache.http.client.HttpClient;
import org.apache.http.impl.client.DefaultHttpClient;
import org.htmlparser.tags.Div;
import org.htmlparser.tags.HeadingTag;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.tags.ParagraphTag;
import org.htmlparser.tags.Span;

import com.yinzhengfei.spider.util.HttpUtil;
import com.yinzhengfei.spider.util.ParserHtmlUtil;


/**
 * @author	尹正飞
 * @Email	feld_yin@163.com
 * @qq		657812595 
 * @version 2013-3-28 上午10:50:59 
 */

public class Test {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		try {
			
			HttpClient httpClient = new DefaultHttpClient();
			
			String baseUrl = "http://www.boohee.com";
			String html = HttpUtil.getHtml(httpClient, baseUrl+"/food");
			List<LinkTag> linkList = ParserHtmlUtil.parserTags(html, LinkTag.class, "class", "green2");
			for(LinkTag lt:linkList){
				System.out.println(lt.getLink()+"------------"+lt.getLinkText());
				for(LinkTag l:pageFood(httpClient, baseUrl, lt)){
					Dish dish = new Dish();
					dish.setCategory(lt.getLinkText());
					dish.setName(l.getLinkText());
					System.out.println(foodInfo(httpClient, baseUrl, l,dish));
				}
				System.out.println("+++++++++++++++++++++++++++++++++++++++++++++");
			}
			
		} catch (Exception e) {
			e.printStackTrace();
		}

	}
	
	public static List<LinkTag> pageFood(HttpClient httpClient,String baseUrl, LinkTag lt){
		
		List<LinkTag> list = new ArrayList<LinkTag>();
		
		String foodListHtml = HttpUtil.getHtml(httpClient, baseUrl+lt.getLink());
		//采集当前页的信息
		list.addAll(ParserHtmlUtil.parserTags(foodListHtml, LinkTag.class, "class", "gray1"));
		
		//读取有多少页
		LinkTag pageNextPageNum = ParserHtmlUtil.parserTag(foodListHtml, LinkTag.class,"class","next_page");
		if(pageNextPageNum != null){
			list.addAll(pageFood(httpClient, baseUrl, pageNextPageNum));
		}
		
		return list;
	}
	
	public static Dish foodInfo(HttpClient httpClient, String baseUrl, LinkTag lt, Dish dish){
		
		String foodInfoHtml = HttpUtil.getHtml(httpClient, baseUrl+lt.getLink());
		//热量
		Span energySpan = ParserHtmlUtil.parserTag(foodInfoHtml, Span.class, "class", "stress red1");
		dish.setEnergy(energySpan.getStringText() + " 大卡（100克）");
		
		//做法
		ParagraphTag cookingP = ParserHtmlUtil.parserTag(foodInfoHtml, ParagraphTag.class, "style", "border:0;");
		if(cookingP != null)
			dish.setCookType(cookingP.getStringText().trim());
		
		List<Div> ingredientsDivList = ParserHtmlUtil.parserTags(foodInfoHtml, Div.class, "class", "part divide10");
		for(Div div:ingredientsDivList){
			HeadingTag hTag = ParserHtmlUtil.parserTag(div.getChildrenHTML(), HeadingTag.class);
			if(hTag == null)
				break;
			String hStr = hTag.getStringText();
			String [] names = dish.getName().split("，");
			if("主料".equals(hStr)){
				
				continue;
			}else if("原料".equals(hStr)){

				continue;
			}
			else if("辅料".equals(hStr)){

				continue;
			}else if("详细说明".equals(hStr)){

				continue;
			}else if("调料".equals(hStr)){

				continue;
			}else if("类别".equals(hStr)){

				continue;
			}else if("口味".equals(hStr)){

				continue;
			}else if("食用效果".equals(hStr)){

				continue;
			}else if((names[0]+"做法").equals(hStr)){

				continue;
			}else if((names[0]+"相关食物").equals(hStr)){

				continue;
			}
			System.out.println(hStr);
		}
		
		return dish;
		
	}

}

  • 运行结果（数据老多，我就截个屏，基本上它上面的家常菜肴都给它抓下来了）

  • 上面有些菜肴信息我是没有抓取的，如图

有兴趣的话可以将上述菜肴信息封装到Dish.java文件中，并在上图空白处实现抓取页面相应信息代码。

注：上述抓取代码用到递归，大数据时有可能内存溢出，有兴趣者可以再完善下


657812595
关注
专栏目录
使用HTMLParser 解析html字符串，去除html标签，提取纯文本
firefly
05-13 9708
最近在写一个文章编辑和搜索的web程序，编辑的文章带有html标签，并以BLOB类型保存在数据库。在显示搜索结果时，以字符串类型输出，但我只想把文章的概要显示出来而不是整篇文章，就想着要是能把字符串中的html标签去掉，只提取其中的纯文本就好了。在网上搜了一下，发现有很多使用js、jQuery的replace()方法过滤html标签，感觉比较复杂也比较繁琐。继续寻找，发现了HTML Parse
基于Java HttpClient和Htmlparser实现网络爬虫代码
09-03
在本文中，我们将详细探讨如何利用这两个库来实现一个简单的网络爬虫。 首先，你需要在开发环境中配置好所需的库。对于 Java HttpClient，你需要导入 Commons-httpClient3.1.jar，而对于 HTML 解析，你需要 ...
HttpClient和HtmlParser简介
有一只柴犬的专栏
09-29 1064
最近想做一个爬虫工具，看了下相关的资料，现在简单介绍下两个重要的开源组件--HttpClient和HtmlClient,如下 1、HttpClient是apache的一个开源项目，可以功能丰富而且高效的支持http协议客户端编程工具，实现了各种基于http的交互，包括GET、POST、PUT、HEAD等方式，而且追踪自动转向（也就是所谓的redirect,forward等），支持https协议（
继续深入HttpClient,用HttpClient+HtmlParser打造网络小偷程序
技术永远致力于应用
05-23 4508
 前两天，由于防盗链，接触到HttpClient这个包，后来加点需求，做一个网页小偷程序试试看，花了一天时间，终于有所斩获。所需技术：HttpClient,HttpParser.其中，HttpClient主要做的工作是获取html数据，而HttpParser主要是解释html，从中来获取我们有需要的那部分。1。准备工作： 搭建环境，  httpClient4.0 开发包 htt
使用 HttpClient 和 HtmlParser 实现简易爬虫
tgyd2006的专栏
12-02 189
这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient 来简化 Get 和 Post 请求操作，构建强大的网络应用程序。 使用 HttpClient 和 HtmlParser 实现简易爬虫 这篇文章...
利用httpClient和htmlParse获取网页iframe数据
有一只柴犬的专栏
08-14 5930
/** * 定义内部类，获取抓取的网页数据中iframe的src包含http://的值。 * 2014-08-14 16:52:10 * @author pengyh * */ private static class NodeVisitorExtends extends NodeVisitor { public void visitTag(Tag
java 网络爬虫 httpclient_基于Java HttpClient和Htmlparser实现网络爬虫代码
weixin_30823291的博客
02-13 201
开发环境的搭建，在工程的 Build Path 中导入下载的Commons-httpClient3.1.Jar，htmllexer.jar 以及 htmlparser.jar 文件。图 1. 开发环境搭建HttpClient 基本类库使用HttpClinet 提供了几个类来支持 HTTP 访问。下面我们通过一些示例代码来熟悉和说明这些类的功能和使用。 HttpClient 提供的 HTTP 的访问...
使用HttpClient和HtmlParser实现网络爬虫
芒果先生Mango的专栏
12-18 922
这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫(Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient来简化 Get 和 Post 请求操作，构建强大的网络应用程序。 使用 HttpClient 和 HtmlParser 实现简易爬虫 这
html parser java_使用 HttpClient 和 HtmlParser 实现简易爬虫
weixin_31211703的博客
02-12 205
使用 HttpClient 和 HtmlParser 实现简易爬虫这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient 来简化 Get 和 Post 请求操作，构建强大的网络应用程序。HttpCli...
使用 HttpClient 和 HtmlParser 实现简易网络爬虫
05-05
在使用HttpClient和HtmlParser实现网络爬虫的过程中，首先需要设置开发环境。这里推荐使用Eclipse Europa作为集成开发环境（IDE），并确保安装了JDK 1.6。在Eclipse中创建一个新的JAVA工程，并将HttpClient和...
Java使用HttpClient和HtmlParser实现的爬虫Demo.zip
03-08
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
利用HttpClient和HtmlParser实现的简单爬虫（Java）
04-20
在Java编程环境中，开发一个简单的网络爬虫是通过结合使用HttpClient库进行网络请求以及HtmlParser库解析HTML内容来实现的。HttpClient是一个强大的HTTP客户端库，它允许开发者发送各种HTTP请求并接收响应，而...
南京工业大学在辽宁2020-2024各专业最低录取分数及位次表.pdf
10-04
那些年，与你同分同位次的同学都去了哪里？全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
下单系统的Spnigboot和微信小程序实现（全栈微信小程式下单）.zip
10-04
下单系统的Spnigboot和微信小程序实现（全栈微信小程式下单）
基于Java开发的智能文件管家设计源码
最新发布
10-04
该项目是一款基于Java的智能文件管家设计源码，涵盖102个文件，包括29个Java源文件、27个类文件、19个XML配置文件、10个YAML文件、8个列表文件、4个属性文件、4个JAR包文件以及1个Git忽略文件。该系统旨在提供高效便捷的文件管理解决方案。
基于YoloV8的简单目标检测和跟踪，使用KMNET进行鼠标移动（处理多目标移动抖动，处理鼠标平滑移动）.zip
10-04
基于YoloV8的简单目标检测和跟踪，使用KMNET进行鼠标移动（处理多目标移动抖动，处理鼠标平滑移动）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值