通过接口爬取网页数据的过程

格式化快捷键ctrl+alt+L

爬取https://baike.baidu.com/vbaike 百度百科 需要动态调用接口
从controller层进入接口，
BaiduClient.httpclientGet(url);

第一步：
传入接口地址
String url2 = “https://baike.baidu.com/api/vbaike/knowledgelist?count=8&page=119&keyWord=”;
BaiduClient.testJSON(url2);

第二步：
将其打印到控制台上面

注意：使用FastJson对接口中的json数据进行转换
参考：https://blog.csdn.net/xzp_12345/article/details/80272981
附：https://blog.csdn.net/xiahuale/article/details/82350487
（可能会遇到）
parseArray通过这个方法将JSON对象转成list集合，遍历
String url4 = (String) list.get(i).get(“wapLink”);
通过get方法拿到键对应的值

第三步：进入详情页，
BaiduClient.httpclientGet2(url4);

使用JSoup去爬取数据

第四步：根据选择器去正常获取元素

第五步：将获取到的数据存入数据库