HttpClient+Jsoup+Workbook抓取页面表格数据，下载到本地

最新推荐文章于 2021-02-27 01:35:25 发布

ssyy98

最新推荐文章于 2021-02-27 01:35:25 发布

阅读量537

点赞数 2

本文链接：https://blog.csdn.net/ssyy98/article/details/92668429

版权

本文介绍了使用HttpClient和Jsoup结合Workbook库，抓取网页表格数据并导出到本地Excel文件的过程。作者在实习期间遇到抓取含有iframe的页面时的挑战，选择直接使用iframe的src作为新的URL进行抓取。通过创建POJO类将表格行数据封装，最终成功生成了与网站一致的Excel文件。

摘要由CSDN通过智能技术生成

HttpClient+Jsoup+Workbook抓取页面表格数据

公司实习导师布置一项用HttpClient抓取网页表格的实践作业，当然了，肯定是python抓比较简单，可能由于我是“java开发实习生”，总之，就有这么一个作业来练练手啦

HttpClient+Jsoup抓数据

第一次实践，直接在main函数里面进行实现。

导入依赖，其中jsoup和httpcomponents是必须的。

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
		<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.11.3</version>
		</dependency>
		<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.11.3</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-java</artifactId>
			<version>3.3.1</version>
		</dependency>
		<dependency>
			<groupId>org.apache.poi</groupId>
			<artifactId>poi-ooxml</artifactId>
			<version>3.17</version>
		</dependency>
		<dependency>
			<groupId>org.apache.httpcomponents</groupId>
			<artifactId>httpclient</artifactId>
			<version>4.5.5</version>
		</dependency>

本来是要抓http://www.safe.gov.cn/safe/rmbhlzjj/index.html的表格数据如上图，需要的表格数据都在iframe标签里；

但由此图可见，用httpclient并没有抓取到页面。了解到是iframe相当于一种反爬机制，由于只是第一次练练手，就没有继续深究这个问题，本来应该是获得iframe的src作为url来抓取的，我就偷了个懒直接用src里面的url来作为待抓取页面的url了，即“http://www.safe.gov.cn/AppStructured/hlw/RMBQuery.do”，未来学习了再改进

建立一个POJO类，将表格每一行封装成一个对象

package com.crawler;
    public class RMBCentralParityPOJO {
   
    private String date;//日期
    private String USD;//美元
    private String EUR;//欧元
    private String JPY;//日元
    private String HKD;//港元
    private String GBP;//英镑
    private String MYR;//林吉特
    private String LUF;//卢布
    private String AUD;//澳元
    private String CAD;//加元
    private String NZD;//新西兰元
    private String SGD;//新加坡
    private String CHF;//瑞士法郎
    private String ZAR;//兰特
    private String KRW;//韩元
    private String AED;//迪拉姆
    private String SAR;//里亚尔
    private String HUF;//福林
    private String PLZ;//兹罗提
    private String DKR;//丹麦克朗
    private String SEK;//瑞典克朗
    private String NOK;//挪威克朗
    private String TRY;//里拉
    private String PHP;//比索
    private String THB;//泰铢public String getDate() {
   
        return date;
    }

    public void setDate(String date) {
   
        this.date = date;
    }

    public String getUSD() {
   
        return USD;
    }

    public void setUSD(String USD) {
   
        this.USD = USD;
    }

    public String getEUR() {
   
        return EUR;
    }

    public void setEUR(String EUR) {
   
        this.EUR = EUR;
    }

    public String getJPY() {
   
        return JPY;
    }

    public void setJPY(String JPY) {
   
        this.JPY = JPY;
    }

    public String getHKD() {
   
        return HKD;
    }

    public void setHKD(String HKD) {
   
        this.HKD = HKD;
    }

    public String getGBP() {
   
        return GBP;
    }

    public void setGBP(String GBP) {
   
        this.GBP = GBP;
    }

    public String getMYR() {
   
        return MYR;
    }

    public void setMYR(String MYR) {
   
        this.MYR = MYR;
    }

    public String getLUF() {
   
        return LUF;
    }

    public void setLUF(String LUF) {
   
        this.LUF = LUF;
    }

    public String getAUD() {
   
        return AUD;
    }

    public void setAUD(String AUD) {
   
        this.AUD = AUD;
    }

    public String getCAD() {
   
        return CAD;
    }

    public void setCAD(String CAD) {
   
        this.CAD = CAD;
    }

    public String getNZD() {
   
        return NZD;
    }

    public void setNZD(String NZD) {
   
        this.NZD = NZD;
    }

    public String getSGD() {
   
        return SGD;
    }

    public void setSGD(String SGD) {