HttpClient+Jsoup+Workbook抓取页面表格数据,下载到本地

本文介绍了使用HttpClient和Jsoup结合Workbook库,抓取网页表格数据并导出到本地Excel文件的过程。作者在实习期间遇到抓取含有iframe的页面时的挑战,选择直接使用iframe的src作为新的URL进行抓取。通过创建POJO类将表格行数据封装,最终成功生成了与网站一致的Excel文件。
摘要由CSDN通过智能技术生成

HttpClient+Jsoup+Workbook抓取页面表格数据

公司实习导师布置一项用HttpClient抓取网页表格的实践作业,当然了,肯定是python抓比较简单,可能由于我是“java开发实习生”,总之,就有这么一个作业来练练手啦

HttpClient+Jsoup抓数据

第一次实践,直接在main函数里面进行实现。

导入依赖,其中jsoup和httpcomponents是必须的。

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
		<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.11.3</version>
		</dependency>
		<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.11.3</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-java</artifactId>
			<version>3.3.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi-ooxml</artifactId>
			<version>3.17</version>
		</dependency>
		<dependency>
			<groupId>org.apache.httpcomponents</groupId>
			<artifactId>httpclient</artifactId>
			<version>4.5.5</version>
		</dependency>
  1. 本来是要抓http://www.safe.gov.cn/safe/rmbhlzjj/index.html的表格数据在这里插入图片描述如上图,需要的表格数据都在iframe标签里;


但由此图可见,用httpclient并没有抓取到页面。了解到是iframe相当于一种反爬机制,由于只是第一次练练手,就没有继续深究这个问题,本来应该是获得iframe的src作为url来抓取的,我就偷了个懒直接用src里面的url来作为待抓取页面的url了,即“http://www.safe.gov.cn/AppStructured/hlw/RMBQuery.do”,未来学习了再改进

  1. 建立一个POJO类,将表格每一行封装成一个对象
package com.crawler;
    public class RMBCentralParityPOJO {
   
    private String date;//日期
    private String USD;//美元
    private String EUR;//欧元
    private String JPY;//日元
    private String HKD;//港元
    private String GBP;//英镑
    private String MYR;//林吉特
    private String LUF;//卢布
    private String AUD;//澳元
    private String CAD;//加元
    private String NZD;//新西兰元
    private String SGD;//新加坡
    private String CHF;//瑞士法郎
    private String ZAR;//兰特
    private String KRW;//韩元
    private String AED;//迪拉姆
    private String SAR;//里亚尔
    private String HUF;//福林
    private String PLZ;//兹罗提
    private String DKR;//丹麦克朗
    private String SEK;//瑞典克朗
    private String NOK;//挪威克朗
    private String TRY;//里拉
    private String PHP;//比索
    private String THB;//泰铢public String getDate() {
   
        return date;
    }

    public void setDate(String date) {
   
        this.date = date;
    }

    public String getUSD() {
   
        return USD;
    }

    public void setUSD(String USD) {
   
        this.USD = USD;
    }

    public String getEUR() {
   
        return EUR;
    }

    public void setEUR(String EUR) {
   
        this.EUR = EUR;
    }

    public String getJPY() {
   
        return JPY;
    }

    public void setJPY(String JPY) {
   
        this.JPY = JPY;
    }

    public String getHKD() {
   
        return HKD;
    }

    public void setHKD(String HKD) {
   
        this.HKD = HKD;
    }

    public String getGBP() {
   
        return GBP;
    }

    public void setGBP(String GBP) {
   
        this.GBP = GBP;
    }

    public String getMYR() {
   
        return MYR;
    }

    public void setMYR(String MYR) {
   
        this.MYR = MYR;
    }

    public String getLUF() {
   
        return LUF;
    }

    public void setLUF(String LUF) {
   
        this.LUF = LUF;
    }

    public String getAUD() {
   
        return AUD;
    }

    public void setAUD(String AUD) {
   
        this.AUD = AUD;
    }

    public String getCAD() {
   
        return CAD;
    }

    public void setCAD(String CAD) {
   
        this.CAD = CAD;
    }

    public String getNZD() {
   
        return NZD;
    }

    public void setNZD(String NZD) {
   
        this.NZD = NZD;
    }

    public String getSGD() {
   
        return SGD;
    }

    public void setSGD(String SGD) {
   
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
压缩包中含有多个文档,从了解httpclient到应用。 httpClient 1httpClint 1.1简介 HttpClient是Apache Jakarta Common下的子项目,用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中,比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient下载地址:  http://hc.apache.org/downloads.cgi 1.2特性 1. 基于标准、纯净的java语言。实现了Http1.0和Http1.1 2. 以可扩展的面向对象的结构实现了Http全部的方法(GET, POST, PUT, DELETE, HEAD, OPTIONS, and TRACE)。 3. 支持HTTPS协议。 4. 通过Http代理建立透明的连接。 5. 利用CONNECT方法通过Http代理建立隧道的https连接。 6. Basic, Digest, NTLMv1, NTLMv2, NTLM2 Session, SNPNEGO/Kerberos认证方案。 7. 插件式的自定义认证方案。 8. 便携可靠的套接字工厂使它更容易的使用第三方解决方案。 9. 连接管理器支持多线程应用。支持设置最大连接数,同时支持设置每个主机的最大连接数,发现并关闭过期的连接。 10. 自动处理Set-Cookie中的Cookie。 11. 插件式的自定义Cookie策略。 12. Request的输出流可以避免流中内容直接缓冲到socket服务器。 13. Response的输入流可以有效的从socket服务器直接读取相应内容。 14. 在http1.0和http1.1中利用KeepAlive保持持久连接。 15. 直接获取服务器发送的response code和 headers。 16. 设置连接超时的能力。 17. 实验性的支持http1.1 response caching。 18. 源代码基于Apache License 可免费获取。 1.3版本 org.apache.http.impl.client.HttpClients 与 org.apache.commons.httpclient.HttpClient目前后者已被废弃,apache已不再支持。 一般而言,使用HttpClient均需导入httpclient.jar与httpclient-core.jar2个包。 1.4使用方法与步骤 开发环境:需要 使用HttpClient发送请求、接收响应很简单,一般需要如下几步即可。 1.创建HttpClient对象。 HttpClient client = new HttpClient(); 2.创建请求方法的实例,并指定请求URL。如果需要发送GET请求,创建HttpGet对象;如果需要发送POST请求,创建HttpPost对象。 //使用GET方法,如果服务器需要通过HTTPS连接,那只需要将下面URL中的 http换成https HttpMethod method = new GetMethod("http://www.baidu.com"); //使用POST方法 HttpMethod method = new PostMethod("http://java.sun.com";); 3. 如果需要发送请求参数,可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数;对于HttpPost对象而言,也可调用setEntity(HttpEntity entity)方法来设置请求参数。 3.调用HttpClient对象的execute(HttpUriRequest request)发送请求,该方法返回一个HttpResponse。 client.executeMethod(method); 5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头;调用HttpResponse的getEntity()方法可获取HttpEntity对象,该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。 6. 释放连接。无论执行方法是否成功,都必须释放连接 //打印服务器返回的状态 System.out.println(method.getStatusLine()); //打印返回的信息 System.out.println(method.getResponseBodyAsString(
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值