爬取虎牙之三：通过json数据获取所有直播情况

动态ajax页面为什么会再同一个页面有多个分页，就是因为当你点击其他页的时候服务器返回一串json串，js执行json参数达到改变页面效果。下面说说如何抓取json串。
1：爬取信息要对源页有所了解，首先打开虎牙直播，谷歌F12选取network。点xhr。里面可能会有多个json文件，点击第三页。

发现点击第三页后会出现一个新的json串。点击看下

会发现服务器返回的数据就是这个页面所显示的。你想要的数据都在里面。可以通过这个数据爬取有用的信息。查看服务器的请求

最下面一行的Query String Parameters就是需要的请求，这样我们模拟请求就可以获取信息。

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class test2 {
	public static void main(String[] args) throws IOException
	{
		String url="https://www.huya.com/";
		Connection connect = Jsoup.connect(url).timeout(20000);
	 Map header = new HashMap(); 
	 header.put("m", "LiveList");
	 header.put("do", "getLiveListByPage");
	 header.put("tagAll", "0"); 
	 header.put("page", "3");	 
	 connect.data(header);
	 Document doc=connect.get();
	 System.out.println(doc.text());
	}
}

却发现输出的是

这个就是前面xhr中的response文件。并且这是一个json串，要想转换json变成我们想要的东西。就要使用阿里的fastjson解析工具，导入fastjson包就可以使用。对于fastjson的简单使用，可以先简单对单个数据摸索。尝试看看。就可以获得想要的数据。json串的解析和获取信息需要自己慢慢摸索。贴上最终的代码：

package 虎牙斗鱼直播平台;

import java.io.IOException;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.HashMap;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;

/*
 * 直接抓所有直播
 */
public class 抓取所有主播 {
	public static void main(String[] args) throws IOException, SQLException, ClassNotFoundException {
	int id = 1;
	/*
	 * 连接数据库
	 */
	java.sql.Connection con;
	Class.forName("com.mysql.jdbc.Driver");
	System.out.println("数据库驱动加载成功");
	con = DriverManager.getConnection("jdbc:mysql:" + "//127.0.0.1:3306/db?useSSL=true", "root", "123456");
	System.out.println("数据库连接成功");
	/*
	 * 模拟请求 注意，请求的页面不同
	 */
	String url = "https://www.huya.com/";
	Connection connect = Jsoup.connect(url).timeout(20000);
	Map<String, String> header = new HashMap<String, String>();
	header.put("m", "LiveList");
	header.put("do", "getLiveListByPage");
	header.put("tagAll", "0");
	int page = 0;// 页数

	// 获取页面数操作 首先要用jsoup解析当前页面，看看有多少页，
	Document exam = Jsoup.connect("https://www.huya.com/l").get();// 请求链接所有直播
	Elements links = exam.getElementsByClass("list-page");// 可以遍历到人数和主播昵称
	page = Integer.parseInt(links.attr("data-pages"));
	System.out.println(page);
	for (int i = 0; i < page; i++) {
		header.put("page", 1 + i + "");
		Connection data = connect.data(header);
		Document doc = data.get(); // 获取json字符串
		// System.out.println(doc.text());
		try {
			JSONObject jsonObj = JSON.parseObject(doc.text()); // 将json字符串转成中文 获得主要的json串
			// System.out.println(jsonObj);

			JSONObject jsonOb = JSON.parseObject(jsonObj.getString("data"));// 获取data选项的json内容
			// System.out.println(jsonOb);
			JSONArray jarr = jsonOb.getJSONArray("datas");// 获取datas内容的jsonarray可以看作是多组jsonobjiect组成
			for (Object jar : jarr) {
				JSONObject js = JSON.parseObject(jar.toString());// 获取更具体的json值
				/*
				 * 写入数据库
				 */
				int renshu = Integer.parseInt((String) js.get("totalCount"));
				String type = js.get("gameFullName").toString();
				String sql2 = "insert into satuday(name,href,number,type)value(?,?,?,?)";// 插入mysql姓名 链接 观看人数 分类

				PreparedStatement pstmt = con.prepareStatement(sql2);
				pstmt.setString(1, (String) js.get("nick")); // 可以查看json数据preview里面的选项做参考
				pstmt.setString(2, "https://www.huya.com/" + js.get("profileRoom"));
				pstmt.setInt(3, renshu);
				pstmt.setString(4, type);
				pstmt.execute();
				System.out.println(js.get("gameFullName") + "" + id++ + " " + i + "");
				}
			} catch (Exception e) {
				System.out.println(e.getMessage());
			}
		}
		con.close();
	}
}

• 如果对爬虫，数据结构，java感兴趣可以关注笔者公众号：bigsai