HttpClient+Jsoup+Workbook抓取页面表格数据
公司实习导师布置一项用HttpClient抓取网页表格的实践作业,当然了,肯定是python抓比较简单,可能由于我是“java开发实习生”,总之,就有这么一个作业来练练手啦
HttpClient+Jsoup抓数据
第一次实践,直接在main函数里面进行实现。
导入依赖,其中jsoup和httpcomponents是必须的。
<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.3</version>
</dependency>
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.3</version>
</dependency>
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>3.17</version>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.5</version>
</dependency>
- 本来是要抓http://www.safe.gov.cn/safe/rmbhlzjj/index.html的表格数据如上图,需要的表格数据都在iframe标签里;
但由此图可见,用httpclient并没有抓取到页面。了解到是iframe相当于一种反爬机制,由于只是第一次练练手,就没有继续深究这个问题,本来应该是获得iframe的src作为url来抓取的,我就偷了个懒直接用src里面的url来作为待抓取页面的url了,即“http://www.safe.gov.cn/AppStructured/hlw/RMBQuery.do”,未来学习了再改进
- 建立一个POJO类,将表格每一行封装成一个对象
package com.crawler;
public class RMBCentralParityPOJO {
private String date;//日期
private String USD;//美元
private String EUR;//欧元
private String JPY;//日元
private String HKD;//港元
private String GBP;//英镑
private String MYR;//林吉特
private String LUF;//卢布
private String AUD;//澳元
private String CAD;//加元
private String NZD;//新西兰元
private String SGD;//新加坡
private String CHF;//瑞士法郎
private String ZAR;//兰特
private String KRW;//韩元
private String AED;//迪拉姆
private String SAR;//里亚尔
private String HUF;//福林
private String PLZ;//兹罗提
private String DKR;//丹麦克朗
private String SEK;//瑞典克朗
private String NOK;//挪威克朗
private String TRY;//里拉
private String PHP;//比索
private String THB;//泰铢public String getDate() {
return date;
}
public void setDate(String date) {
this.date = date;
}
public String getUSD() {
return USD;
}
public void setUSD(String USD) {
this.USD = USD;
}
public String getEUR() {
return EUR;
}
public void setEUR(String EUR) {
this.EUR = EUR;
}
public String getJPY() {
return JPY;
}
public void setJPY(String JPY) {
this.JPY = JPY;
}
public String getHKD() {
return HKD;
}
public void setHKD(String HKD) {
this.HKD = HKD;
}
public String getGBP() {
return GBP;
}
public void setGBP(String GBP) {
this.GBP = GBP;
}
public String getMYR() {
return MYR;
}
public void setMYR(String MYR) {
this.MYR = MYR;
}
public String getLUF() {
return LUF;
}
public void setLUF(String LUF) {
this.LUF = LUF;
}
public String getAUD() {
return AUD;
}
public void setAUD(String AUD) {
this.AUD = AUD;
}
public String getCAD() {
return CAD;
}
public void setCAD(String CAD) {
this.CAD = CAD;
}
public String getNZD() {
return NZD;
}
public void setNZD(String NZD) {
this.NZD = NZD;
}
public String getSGD() {
return SGD;
}
public void setSGD(String SGD) {