使用java如何爬取12306的余票信息？

我先告诉你一个接口，当然这个接口可以在调试页面自己找出来，因为请求地址是会被浏览器捕捉到的，检测HTTP请求的Network即可看到这个接口https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-11-06&leftTicketDTO.from_station=WCN&leftTicketDTO.to_station=HAN&purpose_codes=ADULT

分析这个API，我们可以发现需要传递三个参数leftTicketDTO.train_date：指代查询日期；leftTicketDTO.from_station指代你的出发地点；leftTicketDTO.to_station；purpose_codes指代成人票。

注意：上面的火车站点对应的英文简写自己可以查询资料，学生票和儿童票代码请自行查阅。

 

好了，现在有了API，我们就可以开始写代码了，先说使用到的环境{HttpClient，Gson}

访问上面的API，我们可以观察返回的数据，没错，数据是json格式的。

所以我们首先需要构建json对应的实体类：

对应整个Json的实体类：

package edu.ctgu.spiders;

import java.util.List;
import java.util.Map;

public class Object12306 {
	private String validateMessagesShowId;
	private Boolean status;
	private Integer httpstatus;
	private Data data;
	private List<String> messages;
	private Map<String, String> validateMessages；........}

其中包含的Data类：

 

 

package edu.ctgu.spiders;

import java.util.List;
import java.util.Map;

public class Data {
	private List<String> result;
	private Integer flag;
	private Map<String, String> map;......
}

 

在写爬虫程序之前，我要谈到一个小问题，证书的问题，访问这个API，我们需要将12306的证书安装至java运行环境中，具体的做法如下：

一、首先要在浏览器打开需要12306的网站，然后把证书下载下来，是一个压缩包，解压就好，最后的文件名是srca.cer
二、然后把证书复制到%JAVA_HOME%/jre/bin/路径下，即保证证书与keytool.exe文件同目录（其实不同也行，但是执行命令时需要指定路径）
三、导入过程如下:
复制完成之后打开doc窗口：运行-cmd
keytool -import -v -trustcacerts -alias srca -file srca.cer -storepass changeit -keystore %JAVA_HOME%/jre/lib/security/cacerts
解释说明：
1、srca 是可以自己修改的名称，  srca.cer 是导出的证书，同样，这里的证书名字也是随便取的，但前提是保证将C:\Program Files\Java\jdk1.6.0_24\jre\lib\security目录的cacerts文件内之前没有导入同名证书，就是要保证你将要导入的证书名称唯一性。
2、changeit 是密码， java默认的。 
3、keytool是jdk中bin目录的一个exe文件，是jdk默认自带的，在我电脑的目录是：C:\Program Files\Java\jdk1.6.0_24\jre\bin\keytool.exe
4、%JAVA_HOME%/jre/lib/security/cacerts 这个路径中%JAVA_HOME%/jre/lib/security/是路径，cacerts是文件（即将要把证书导入到其中的文件）。当然要确保你已经配置过java_home环境变量，我的java_home环境变量为：C:\Program Files\Java\jdk1.6.0_24
5、其他保持不变。
6、如果提示："是否信任此证书? [否]:"  ，那么请输入"y"。

最后写一个简单的爬虫程序：

 

package edu.ctgu.spiders;

import java.io.IOException;
import java.util.List;

import org.apache.http.HttpEntity;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import com.google.gson.Gson;

/**
 * @author AZHELL E-mail:r776379772@Gmail.com
 * @version 创建时间：2017年11月6日 下午8:28:42
 * @ClassDescription 类说明: 
 */
public class Grab12306 {
	public static void main(String[] args) {
		try {
			CloseableHttpClient httpClient = HttpClients.createDefault();
			HttpGet httpGet = new HttpGet("https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-11-06&leftTicketDTO.from_station=WCN&leftTicketDTO.to_station=HAN&purpose_codes=ADULT");
			CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
			HttpEntity httpEntity = httpResponse.getEntity();
			String content = EntityUtils.toString(httpEntity, "UTF-8");
			// System.out.println(content);
			Gson gson = new Gson();
			Object12306 object12306 = gson.fromJson(content, Object12306.class);
			// System.out.println(object12306);
			
			// 处理得到的对象
			Data data = object12306.getData();
			List<String> result = data.getResult();
			for (String schedule : result) {
				// System.out.println(string);
				// 分隔符函数一定记得转义的重要习惯
				String[] array =  schedule.split("\\|");
				for (int i = 0; i < array.length; i++) {
					System.out.println(array[i]);
				}
			}
		} catch (ClientProtocolException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}

上面只是举了一个例子，大家可以按照自己的需求生成自己的程序！