我先告诉你一个接口,当然这个接口可以在调试页面自己找出来,因为请求地址是会被浏览器捕捉到的,检测HTTP请求的Network即可看到这个接口https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-11-06&leftTicketDTO.from_station=WCN&leftTicketDTO.to_station=HAN&purpose_codes=ADULT
分析这个API,我们可以发现需要传递三个参数leftTicketDTO.train_date:指代查询日期;leftTicketDTO.from_station指代你的出发地点;leftTicketDTO.to_station;purpose_codes指代成人票。
注意:上面的火车站点对应的英文简写自己可以查询资料,学生票和儿童票代码请自行查阅。
好了,现在有了API,我们就可以开始写代码了,先说使用到的环境{HttpClient,Gson}
访问上面的API,我们可以观察返回的数据,没错,数据是json格式的。
所以我们首先需要构建json对应的实体类:
对应整个Json的实体类:
-
package edu.ctgu.spiders;
-
-
import java.util.List;
-
import java.util.Map;
-
-
public class Object12306 {
-
private String validateMessagesShowId;
-
private Boolean status;
-
private Integer httpstatus;
-
private Data data;
-
private List<String> messages;
-
private Map<String, String> validateMessages;........}
-
package edu.ctgu.spiders;
-
-
import java.util.List;
-
import java.util.Map;
-
-
public class Data {
-
private List<String> result;
-
private Integer flag;
-
private Map<String, String> map;......
-
}
在写爬虫程序之前,我要谈到一个小问题,证书的问题,访问这个API,我们需要将12306的证书安装至java运行环境中,具体的做法如下:
一、首先要在浏览器打开需要12306的网站,然后把证书下载下来,是一个压缩包,解压就好,最后的文件名是srca.cer
二、然后把证书复制到%JAVA_HOME%/jre/bin/路径下,即保证证书与keytool.exe文件同目录(其实不同也行,但是执行命令时需要指定路径)
三、导入过程如下:
复制完成之后打开doc窗口:运行-cmd
keytool -import -v -trustcacerts -alias srca -file srca.cer -storepass changeit -keystore %JAVA_HOME%/jre/lib/security/cacerts
解释说明:
1、srca 是可以自己修改的名称, srca.cer 是导出的证书,同样,这里的证书名字也是随便取的,但前提是保证将C:\Program Files\Java\jdk1.6.0_24\jre\lib\security目录的cacerts文件内之前没有导入同名证书,就是要保证你将要导入的证书名称唯一性。
2、changeit 是密码, java默认的。
3、keytool是jdk中bin目录的一个exe文件,是jdk默认自带的,在我电脑的目录是:C:\Program Files\Java\jdk1.6.0_24\jre\bin\keytool.exe
4、%JAVA_HOME%/jre/lib/security/cacerts 这个路径中%JAVA_HOME%/jre/lib/security/是路径,cacerts是文件(即将要把证书导入到其中的文件)。当然要确保你已经配置过java_home环境变量,我的java_home环境变量为:C:\Program Files\Java\jdk1.6.0_24
5、其他保持不变。
6、如果提示:"是否信任此证书? [否]:" ,那么请输入"y"。
-
package edu.ctgu.spiders;
-
-
import java.io.IOException;
-
import java.util.List;
-
-
import org.apache.http.HttpEntity;
-
import org.apache.http.client.ClientProtocolException;
-
import org.apache.http.client.methods.CloseableHttpResponse;
-
import org.apache.http.client.methods.HttpGet;
-
import org.apache.http.impl.client.CloseableHttpClient;
-
import org.apache.http.impl.client.HttpClients;
-
import org.apache.http.util.EntityUtils;
-
-
import com.google.gson.Gson;
-
-
/**
-
* @author AZHELL E-mail:r776379772@Gmail.com
-
* @version 创建时间:2017年11月6日 下午8:28:42
-
* @ClassDescription 类说明:
-
*/
-
public class Grab12306 {
-
public static void main(String[] args) {
-
try {
-
CloseableHttpClient httpClient = HttpClients.createDefault();
-
HttpGet httpGet = new HttpGet("https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-11-06&leftTicketDTO.from_station=WCN&leftTicketDTO.to_station=HAN&purpose_codes=ADULT");
-
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
-
HttpEntity httpEntity = httpResponse.getEntity();
-
String content = EntityUtils.toString(httpEntity, "UTF-8");
-
// System.out.println(content);
-
Gson gson = new Gson();
-
Object12306 object12306 = gson.fromJson(content, Object12306.class);
-
// System.out.println(object12306);
-
-
// 处理得到的对象
-
Data data = object12306.getData();
-
List<String> result = data.getResult();
-
for (String schedule : result) {
-
// System.out.println(string);
-
// 分隔符函数一定记得转义的重要习惯
-
String[] array = schedule.split( "\\|");
-
for (int i = 0; i < array.length; i++) {
-
System.out.println(array[i]);
-
}
-
}
-
} catch (ClientProtocolException e) {
-
e.printStackTrace();
-
} catch (IOException e) {
-
e.printStackTrace();
-
}
-
}
-
}