使用HttpClient做的一个简单的网络爬虫

最新推荐文章于 2018-11-27 16:14:54 发布
最新推荐文章于 2018-11-27 16:14:54 发布
阅读量473 收藏 1
点赞数 1
分类专栏： Excel Apache J#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gundumw100/article/details/69962771
版权
Apache 同时被 3 个专栏收录
36 篇文章 0 订阅
订阅专栏
J#
25 篇文章 0 订阅
订阅专栏
Excel
5 篇文章 0 订阅
订阅专栏
我们有时要想把一个网站下一些有用的信息copy下来，比如下面的例子：想把http://www.ef360.com这个网站下所有的制衣企业拿下来并保存在自己的excel文件中，一个一个copy？受不了，那该怎么办呢？看下面基本源码 

import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.methods.GetMethod;


public class App {
	//需要分析的网站
	public static final String LOGON_SITE="http://www.ef360.com";
	public static final int LOGON_PORT=80;
	private static String[] desc=new String[]{
		"公司介绍",
		"主营产品",
		"公司名称",
		"所在省市",
		"公司地址",
		"邮编",
		"联系人",
		"联系电话",
		"手机号码",
		"传真",
		"网址",
		"公司网址"
	};
	private static String[] key=new String[]{
		"companyInfo",
		"products",
		"companyName",
		"province",
		"address",
		"zipCode",
		"headerMan",
		"phone",
		"mobilePhone",
		"tax",
		"detailUrl",
		"netUrl"
	};

	/**
	 * 取到所有福建（350000）的厂家信息
	 * @param args
	 */
	public static void main(String[] args) {
		
		HttpClient client=new HttpClient();
		client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT);//设置主机地址
		//地区编号
		String areaId="350000";//指福建
		int pages=2;//需要取的页数，可以定的大一点
		//已经添加的过滤
		Map duclipcateCode=new HashMap();
		//每行的结果
		List resultList= new ArrayList();
		System.out.println("=======开始链接，请等待...========");
		long start=System.currentTimeMillis();
		for(int i=1;i<pages;i++){//从第1页开始取，取到pages页结束
//			所有某个企业列表的链接，Province指地区，page指当前第几页
			String baseUrl="http://company.ef360.com/CompanyList.asp?Province="+areaId+"&page="+i;
			//baseUrl+="&page="+i;
			GetMethod get=new GetMethod(baseUrl);
			get.getParams().setContentCharset("gb2312");
			String resposeString="";
			try {
				client.executeMethod(get);
				resposeString=get.getResponseBodyAsString();
				get.releaseConnection();
			} catch (HttpException e) {
				// TODO 自动生成 catch 块
				e.printStackTrace();
			} catch (IOException e) {
				// TODO 自动生成 catch 块
				e.printStackTrace();
			}
			
//			System.out.println("resposeString="+resposeString);
			//查找在这一页里面所有Detail/*.html这样的链接
			Matcher m=Pattern.compile("Detail/.*html").matcher(resposeString);
			while(m.find()){
				//取到201580.html这样的数字
				Matcher m2=Pattern.compile("[0-9]+").matcher(m.group());
				if(m2.find()){
					String findCode=m2.group();
//					System.out.println("findCode="+findCode);
					if(duclipcateCode.get(findCode)!=null){//重复的不要
						continue;
					}
					duclipcateCode.put(findCode, findCode);
					//具体某个企业的链接
					String detailUrl="http://company.ef360.com/Detail/"+findCode+".html";
					Map result=new HashMap();
					System.out.println("开始链接："+detailUrl);
					GetMethod get2=new GetMethod(detailUrl);
					get2.getParams().setContentCharset("gb2312");
					String content="";
					try {
						client.executeMethod(get2);
						content=get2.getResponseBodyAsString();//获得链接数据
						get2.releaseConnection();
					} catch (HttpException e) {
						// TODO 自动生成 catch 块
						e.printStackTrace();
					} catch (IOException e) {
						// TODO 自动生成 catch 块
						e.printStackTrace();
					}
//					System.out.println("content="+content);
					//处理数据
					String companyInfo=processDetail(content,"公司介绍</div>[\\s\\S]*CompanyTit_Body.*</div>","CompanyTit_Body",null,2,0);
					String products=processDetail(content,"主营产品</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String companyName=processDetail(content,"公司名称</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String province=processDetail(content,"所在省市</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String address=processDetail(content,"公司地址</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String zipCode=processDetail(content,"邮编</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String headerMan=processDetail(content,"联系人</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String phone=processDetail(content,"联系电话</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String mobilePhone=processDetail(content,"手机号码</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String tax=processDetail(content,"联系传真</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					//String detailUrl=processDetail(content,"公司名称</TD>[\\s\\S]InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					String netUrl=processDetail(content,"公司网址</TD>[\\s\\S]*InnerContent_Search.*</TD>","InnerContent_Search","</TD>",3,0);
					result.put("companyInfo", companyInfo);
					result.put("products", products);
					result.put("companyName", companyName);
					result.put("province", province);
					result.put("address", address);
					result.put("zipCode", zipCode);
					result.put("headerMan", headerMan);
					result.put("phone", phone);
					result.put("mobilePhone", mobilePhone);
					result.put("tax", tax);
					result.put("detailUrl", detailUrl);
					result.put("netUrl", netUrl);
					resultList.add(result);
				}
			}
		}
		System.out.println("=======开始写入xls========");
		ExcelUtil.exportExcel(key,desc,resultList,"D:/");
		
		long end=System.currentTimeMillis();
		System.out.println("执行结束，共花费时间:"+(end-start)/1000+"s");
		
	}
	/**
	 * 解析html
	 * @param content
	 * @param tex
	 * @param startFlag
	 * @param endFlag
	 * @param starts
	 * @param ends
	 * @return
	 */
	public static String processDetail(String content,String tex,String startFlag,String endFlag,int starts,int ends){
		Matcher m=Pattern.compile(tex).matcher(content);
		String tempStr="";
		if(m.find()){
			tempStr=m.group();
			tempStr=tempStr.substring(tempStr.indexOf(startFlag)+startFlag.length()+starts, tempStr.length()-ends);
			if(endFlag!=null){
				tempStr=tempStr.substring(0, tempStr.indexOf(endFlag));
			}
			tempStr=tempStr.replaceAll("<br>", "\n");
			tempStr=tempStr.replaceAll("<p>", "\n");
			tempStr=tempStr.replaceAll("</TD>", "");
			tempStr=tempStr.replaceAll("</div>", "");
			tempStr=tempStr.replaceAll("</a>", "");
			tempStr=tempStr.replaceAll("<a href=.*>", "");
		}
		return tempStr;
	}

}


ExcelUtil 工具类，只是为了输出excel 

import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.List;

import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFCellStyle;
import org.apache.poi.hssf.usermodel.HSSFFont;
import org.apache.poi.hssf.usermodel.HSSFRichTextString;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hssf.util.HSSFColor;

public class ExcelUtil {

	/**
	 * 
	 * @param key 标题1
	 * @param desc 标题2
	 * @param list 数据
	 * @param path 保存路径
	 */
	public static void exportExcel(String[] key,String[] desc,List list,String path){
		//POIFSFileSystem fs;
		FileOutputStream out=null;
//		String fileName=new SimpleDateFormat("yyyy_MM_dd_HH_mm_ss").format(new Date())+".xls";
		String fileName="我的Excel.xls";
		HSSFWorkbook workbook=new HSSFWorkbook();
		HSSFSheet sheet=workbook.createSheet();
		
		workbook.setSheetName(0, "信息",HSSFWorkbook.ENCODING_UTF_16);
		HSSFRow keyRow=sheet.createRow((short)0);
		HSSFRow descRow=sheet.createRow((short)1);
		keyRow.setHeight((short) 660);//设置行高
		descRow.setHeight((short) 660);
		//设置字体样式啊什么的
		HSSFCellStyle style=workbook.createCellStyle();
		style.setAlignment(HSSFCellStyle.ALIGN_CENTER);
		style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);
		style.setFillBackgroundColor(HSSFColor.GREY_25_PERCENT.index);
			HSSFFont font=workbook.createFont();
			font.setColor(HSSFColor.RED.index);
			font.setFontHeight((short)260);
			font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
		style.setFont(font);
		for(int i=0;i<key.length;i++){
			sheet.setColumnWidth((short)i,(short)5000);//设置各列列宽
			//标题1
			HSSFCell cell=keyRow.createCell((short) i);
			cell.setEncoding(HSSFCell.ENCODING_UTF_16);//解决Poi生成excel乱码
			cell.setCellType(HSSFCell.CELL_TYPE_STRING);
			cell.setCellStyle(style);//设置单元格样式
			cell.setCellValue(key[i]);
			//标题2
			HSSFCell cell2=descRow.createCell((short) i);
			cell2.setEncoding(HSSFCell.ENCODING_UTF_16);//解决Poi生成excel乱码
			cell2.setCellType(HSSFCell.CELL_TYPE_STRING);
			cell2.setCellStyle(style);//设置单元格样式
			cell2.setCellValue(desc[i]);
//			cell.setCellValue(new HSSFRichTextString(desc[i]));
		}
		//具体数据，list里存放的是HashMap
		for(int i=0;i<list.size();i++){
			HashMap map=(HashMap)list.get(i);
			HSSFRow row=sheet.createRow((short)i+2);//第3行开始
			for(int j=0;j<key.length;j++){//一行有多少列
				HSSFCell cell=row.createCell((short) j);
				Object value=map.get(key[j]);//根据key取出对应的值
				if(value==null) value="";
				
				if(value instanceof Double || value instanceof Integer){
					double d=Double.parseDouble(value.toString());
					cell.setEncoding(HSSFCell.ENCODING_UTF_16);
					cell.setCellType(HSSFCell.CELL_TYPE_NUMERIC);
					cell.setCellValue(d);
				}else if(value instanceof String){
					cell.setEncoding(HSSFCell.ENCODING_UTF_16);
					cell.setCellType(HSSFCell.CELL_TYPE_STRING);
					cell.setCellValue(value.toString());
				}else if(value instanceof Date){
					String date=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(value);
					cell.setEncoding(HSSFCell.ENCODING_UTF_16);
					cell.setCellType(HSSFCell.CELL_TYPE_STRING);
					cell.setCellValue(date);
				}else{
//					cell.setCellValue(new HSSFRichTextString(value));
//                    cell.setCellType(HSSFCell.CELL_TYPE_STRING);
				}
			}
		}
		
		try {
			out=new FileOutputStream(path+fileName);
			workbook.write(out);
			out.flush();
		} catch (FileNotFoundException e) {
			// TODO 自动生成 catch 块
			e.printStackTrace();
		}catch (IOException e) {
			// TODO 自动生成 catch 块
			e.printStackTrace();
		}finally{
			try {
				out.close();
			} catch (IOException e) {
				// TODO 自动生成 catch 块
				e.printStackTrace();
			}
		}
		
	}
}

下面是2个用到的包，可能还需要apache的commons-XXX.jar包
gundumw100
关注
专栏目录
HttpClient 4.5 封装的工具类 HttpUtil 可用于爬虫和模拟登陆
06-26
基于Apache HttpClient 4.5.2 封装的工具类 HttpUtil 可用于爬虫和模拟登陆。使用新的语法后比3.*版本的速度感觉有提升。使用后注意资源的释放 pom 部分，应该不全，需要用的根据代码的import去找maven资源即可。 org.apache.httpcomponents httpclient 4.5.2 org.apache.httpcomponents httpmime 4.5.1
使用 HttpClient 和 HtmlParser 实现简易爬虫
tgyd2006的专栏
12-02 188
这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient 来简化 Get 和 Post 请求操作，构建强大的网络应用程序。 使用 HttpClient 和 HtmlParser 实现简易爬虫 这篇文章...
【转载】HTTPClient爬虫简单使用
JavaPub
11-27 397
https://blog.csdn.net/weixin_39389850/article/details/78905392
使用 HttpClient 和 HtmlParser 实现简易网络爬虫
05-05
总之，HttpClient和HtmlParser结合使用，可以构建一个基础的网络爬虫，用于抓取和解析网页数据。它们提供了一种有效的方式，让开发者能够轻松地与Web服务器交互，并处理返回的HTML内容，从而实现各种Web数据挖掘和...
基于java+Jsoup+HttpClient的网络爬虫技术的网络新闻分析系统设计与实现（源码+文档）网络爬虫_数据挖掘.zip
06-30
资源名字：基于java+Jsoup+HttpClient的网络爬虫技术的网络新闻分析系统设计与实现（源码+文档）_MySQL_网络爬虫_数据挖掘.zip 资源内容：项目全套源码+完整文档 源码说明： 全部项目源码都是经过测试校正后百分百...
基于Java HttpClient和Htmlparser实现网络爬虫代码
09-03
以下是一个使用 GetMethod 实现的网络爬虫的基本步骤： 1. **创建 HttpClient 对象**：HttpClient 是所有 HTTP 操作的基础，你可以通过 `new HttpClient()` 创建一个实例。设置超时时间（例如，`...
使用HTMLPARSER和HTTPCLIENT制作网络爬虫，附赠相关技术文档。
03-22
本教程将聚焦于如何使用HTMLPARSER和HTTPCLIENT库来构建一个基础的网络爬虫。这两个工具是Java开发者常用来解析HTML和进行HTTP请求的重要库。 首先，HTMLPARSER是一个开源的Java库，它可以解析HTML文档并提供类似于...
基于SSM+maven+httpClient+jsoup实现的java爬虫项目，一个完整的小说网站.zip
最新发布
01-28
综上所述，这个Java项目是一个利用SSM框架构建的Web应用，结合Maven进行项目管理，通过HttpClient发起网络请求并使用jsoup解析HTML，实现了一个能够爬取小说网站的功能。这样的项目对于学习和理解Java Web开发、网络...
JAVA使用HttpClient实现爬虫技术
qq_38067116的博客
03-27 1534
1. pom文件中加入httpClient依赖包&lt;dependency&gt; &lt;groupId&gt;org.apache.httpcomponents&lt;/groupId&gt; &lt;artifactId&gt;httpclient&lt;/artifactId&gt; &lt;version&gt;4.3.1&lt;/version&gt; &l
五种实现网络爬虫的方法（三，基于httpclient编写爬虫）
AaronLin的博客
09-02 2626
咕咕咕~ 总所周知httpclient是java爬虫的利器， 一般我个人开发，都是用httpclient来编写抓取登陆代理等，用jsoup，xpath，正则来处理解析。 废话不多说直接上代码。 public static String getPageContent(String url) { // 创建一个客户端，类似于打开一个浏览器 DefaultHttpClient http...
基于HttpClient实现网络爬虫~以百度新闻为例
热门推荐
小鸡慢慢的专栏
11-07 1万+
以百度新闻为例，介绍如何基于HttpClient去采集网络新闻资源信息。
httpclient4.1中文参数传递
KAXU
05-23 362
最近在弄框架项目，要通过框架项目去读取和控制子项目。使用httpclient通过uri去访问子项目的业务功能。 废话不多说。 在非中文参数传递的时候都很正常。 但是后来遇到了使用get方式的带中文参数的url。让我纠结了2天多。字符码转来转去，最后还是失败了。 突然我改用post方式，就使用httpclient官方的demo。居然成功了。真是开心啊！   .... DefaultHt...
【网络爬虫】使用HttpClient4.3.5抓取数据
童小绿 学无止境
04-30 1917
使用jar——Apache client下载地址： http://hc.apache.org/downloads.cgi 结构： 代码结构：具体代码：抓取结果封装/** * 抓取结果的封装 * @author tsj-pc * */ public class CrawlResultPojo { private boolean isSuccess; private St
爬虫系列（一）——网页请求HttpClient
Think In JAVA—Max
02-07 6935
爬虫系列博客将从以下几个方面介绍相对编写网页爬虫核心过程。     爬虫系列（一）——网页请求HttpClient     爬虫系列（二）——网页解析Jsoup     爬虫系列（三）——多线程爬虫框架     爬虫系列（四）——爬虫日志记录     爬虫系列（五）——url去重 网页请求HttpClient      HttpClient 是 A
HttpClient的基本使用
曾经沧海难为水，除却巫山不是云
06-08 2635
HttpClient的基本使用前言HttpClient是Apache提供的一个用于在Java中处理HTTP请求、响应操作的工具，由于JDK自带的API对HTTP协议的支持不是很友好，使用起来也不是很方便，加上这几天刚好有个小项目需要使用到，所以学习了HttpClient的基本使用，并且将学习过程的笔记整理出来Http请求正如我们所知道的，一个Http请求包含了一下几个部分的内容，首先是请求行(包括了
网络爬虫入门(一)-HttpClient使用入门
上千主上-贝库塔
09-28 810
一.网络爬虫 1.概述 网络爬虫也叫做网络机器人,可以代替人们自动地在互联网中进行数据信息的采集与整理 从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分 既然是网络爬虫,自然离不开Http协议 Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性 2.HttpClient HttpClient有两个,分别是 org...
使用HttpClient与HtmlParser构建简易网络爬虫
本文将深入探讨如何使用HttpClient和HtmlParser这两个开源库来构建一个初级的网络爬虫，帮助我们抓取并解析网页内容。 HttpClient是一个强大的Java库，它提供了对HTTP协议的全面支持，包括GET和POST请求、cookie...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值