使用java如何爬取12306的余票信息？

最新推荐文章于 2022-02-24 16:07:02 发布

仿佛若有光318

最新推荐文章于 2022-02-24 16:07:02 发布

阅读量510

点赞数

我先告诉你一个接口，当然这个接口可以在调试页面自己找出来，因为请求地址是会被浏览器捕捉到的，检测HTTP请求的Network即可看到这个接口https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-11-06&leftTicketDTO.from_station=WCN&leftTicketDTO.to_station=HAN&purpose_codes=ADULT

分析这个API，我们可以发现需要传递三个参数leftTicketDTO.train_date：指代查询日期；leftTicketDTO.from_station指代你的出发地点；leftTicketDTO.to_station；purpose_codes指代成人票。

注意：上面的火车站点对应的英文简写自己可以查询资料，学生票和儿童票代码请自行查阅。

好了，现在有了API，我们就可以开始写代码了，先说使用到的环境{HttpClient，Gson}

访问上面的API，我们可以观察返回的数据，没错，数据是json格式的。

所以我们首先需要构建json对应的实体类：

对应整个Json的实体类：

package edu.ctgu.spiders;
import java.util.List;
import java.util.Map;
public class Object12306 {
private String validateMessagesShowId;
private Boolean status;
private Integer httpstatus;
private Data data;
private List<String> messages;
private Map<String, String> validateMessages；........}

其中包含的Data类：

package edu.ctgu.spiders;
import java.util.List;
import java.util.Map;
public class Data {
private List<String> result;
private Integer flag;
private Map<String, String> map;......
}

在写爬虫程序之前，我要谈到一个小问题，证书的问题，访问这个API，我们需要将12306的证书安装至java运行环境中，具体的做法如下：

一、首先要在浏览器打开需要12306的网站，然后把证书下载下来，是一个压缩包，解压就好，最后的文件名是srca.cer
二、然后把证书复制到%JAVA_HOME%/jre/bin/路径下，即保证证书与keytool.exe文件同目录（其实不同也行，但是执行命令时需要指定路径）
三、导入过程如下:
复制完成之后打开doc窗口：运行-cmd
keytool -import -v -trustcacerts -alias srca -file srca.cer -storepass changeit -keystore %JAVA_HOME%/jre/lib/security/cacerts
解释说明：
1、srca 是可以自己修改的名称， srca.cer 是导出的证书，同样，这里的证书名字也是随便取的，但前提是保证将C:\Program Files\Java\jdk1.6.0_24\jre\lib\security目录的cacerts文件内之前没有导入同名证书，就是要保证你将要导入的证书名称唯一性。
2、changeit 是密码， java默认的。
3、keytool是jdk中bin目录的一个exe文件，是jdk默认自带的，在我电脑的目录是：C:\Program Files\Java\jdk1.6.0_24\jre\bin\keytool.exe
4、%JAVA_HOME%/jre/lib/security/cacerts 这个路径中%JAVA_HOME%/jre/lib/security/是路径，cacerts是文件（即将要把证书导入到其中的文件）。当然要确保你已经配置过java_home环境变量，我的java_home环境变量为：C:\Program Files\Java\jdk1.6.0_24
5、其他保持不变。
6、如果提示："是否信任此证书? [否]:" ，那么请输入"y"。

最后写一个简单的爬虫程序：

package edu.ctgu.spiders;
import java.io.IOException;
import java.util.List;
import org.apache.http.HttpEntity;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import com.google.gson.Gson;
/**
* @author AZHELL E-mail:r776379772@Gmail.com
* @version 创建时间：2017年11月6日下午8:28:42
* @ClassDescription 类说明:
*/
public class Grab12306 {
public static void main(String[] args) {
try {
CloseableHttpClient httpClient = HttpClients.createDefault();
HttpGet httpGet = new HttpGet("https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-11-06&leftTicketDTO.from_station=WCN&leftTicketDTO.to_station=HAN&purpose_codes=ADULT");
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
HttpEntity httpEntity = httpResponse.getEntity();
String content = EntityUtils.toString(httpEntity, "UTF-8");
// System.out.println(content);
Gson gson = new Gson();
Object12306 object12306 = gson.fromJson(content, Object12306.class);
// System.out.println(object12306);
// 处理得到的对象
Data data = object12306.getData();
List<String> result = data.getResult();
for (String schedule : result) {
// System.out.println(string);
// 分隔符函数一定记得转义的重要习惯
String[] array = schedule.split( "\\|");
for (int i = 0; i < array.length; i++) {
System.out.println(array[i]);
}
}
} catch (ClientProtocolException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}