股票爬虫

股票爬虫（第二篇：代码实现）

看不懂代码的同学可以去找第一篇看一看

第一篇点击此链接

前言

​ 写爬虫程序，大家都知道python，其实还有java可以写爬虫，由于博主是大数据分析专业的，而大数据很多框架都和java有关系，所以本篇的代码实现是java。但是别走，此处提供的是思路，你把我的思路用python实现也是可以的。

准备

1、新建Maven项目

2、需要的依赖、包

​ 这里我们需要的依赖有

<!-- 有java无UI浏览器美称的htmlunit（爬虫工具）-->
<dependency>
      <groupId>net.sourceforge.htmlunit</groupId>
      <artifactId>htmlunit</artifactId>
      <version>2.49.1</version>
</dependency>
<!-- json的解析依赖-->
<dependency>
      <groupId>org.json</groupId>
      <artifactId>json</artifactId>
      <version>20210307</version>
</dependency>
<!-- 文件的输出依赖-->
<dependency>
      <groupId>commons-io</groupId>
      <artifactId>commons-io</artifactId>
      <version>2.8.0</version>
</dependency>

这里我们需要的导包有

//来自于htmlunit依赖
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.Page;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebResponse;
//来自于commons-io依赖
import org.apache.commons.io.FileUtils;
//来自于org.json依赖
import org.json.CDL;
import org.json.JSONArray;
import org.json.JSONObject;
//java自己的包
import java.io.File;
import java.io.IOException;

代码编写

1、获取网页返给我们的json

//使用指定的BrowserVersion创建web客户端实例。
WebClient webClient = new WebClient(BrowserVersion.CHROME);
String url = "http://push2his.eastmoney.com/api/qt/stock/kline/get?fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61&klt=101&fqt=1&secid=0.000003&beg=0&end=20500000";
//方便的方法来构建一个URL并将其加载到当前的WebWindow中
Page page = webClient.getPage(url);
//返回最初用于创建此页的web响应
WebResponse response = page.getWebResponse();
//使用服务器响应中指定的字符集/编码，以字符串形式返回响应内容。
String json = response.getContentAsString();
输出一下，仅作测试，待会删掉
System.out.println(json);

2、太乱了，看的眼疼（那就数据清洗一下）

根据观察，我们需要的数据藏在data对象的klines对象的数组

那么我们先把data提炼出来，在刚才代码的基础上，再追加以下代码（你先了解json的语法，才能理解以下代码）

//创建JSONObject，把整个json传进去
JSONObject jsonObject = new JSONObject(json);
//获取JSON中的对象
JSONObject mydata = jsonObject.getJSONObject("data");
//输出一下，仅作测试，待会删掉
System.out.println(mydata);

我们离klines只剩一点点了

//获取对象中的数组
JSONArray myjsonarry = mydata.getJSONArray("klines");

3、数据的二次清洗，把数组进行格式化

将这些json数组转换成字符串数组

// CDL支持JSON和逗号分隔列表之间的转换
// String de = CDL.rowToString(myjsonarry);
// 这里你可以输出以下看一下de是什么玩意
// 对字符串进行切片
String[] csv = CDL.rowToString(myjsonarry).split("\",\"");
//测试，记得删
for (String buffer:csv) {
     System.out.println(buffer);
}

然后你会发现csv[0]和csv[csv.length-1]这两个数组元素的头和尾还有个"

再次清洗

String[] buffer2 = csv[0].split("\"");
csv[0] = buffer2[1];
String[] buffer3 = csv[csv.length - 1].split("\"");
csv[csv.length - 1] = buffer3[0];

//测试，记得删掉
for (String buffer:csv) {
     System.out.println(buffer);
}

4、完美

5、最后转换成csv文件

for (String buffer:csv) {
    //第一个参数，创建一个文件
    //第二个参数，将字符串写入文件
    //第三个参数，这个文件的字符集/编码
    //第四个参数，是否是追加（这里填是），因为我是一个元素一个元素的写入
     FileUtils.writeStringToFile(new File("D://testdemo1.csv"), buffer+"\n","UTF-8",true);
}

完整代码

public class spiderdemo {
    public static void main(String[] args) throws IOException, InterruptedException {
        WebClient webClient = new WebClient(BrowserVersion.CHROME);
        String url = "http://push2his.eastmoney.com/api/qt/stock/kline/get?fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61&klt=101&fqt=1&secid=0.000003&beg=0&end=20500000";
        Page page = webClient.getPage(url);
        WebResponse response = page.getWebResponse();
        String json = response.getContentAsString();

        JSONObject jsonObject = new JSONObject(json);
        JSONObject mydata = jsonObject.getJSONObject("data");

        JSONArray myjsonarry = mydata.getJSONArray("klines");

        // CDL支持JSON和逗号分隔列表之间的转换
        // String de = CDL.rowToString(myjsonarry);
        // 这里你可以输出以下看一下de是什么玩意
        // 对字符串进行切片
        String[] csv = CDL.rowToString(myjsonarry).split("\",\"");

        String[] buffer2 = csv[0].split("\"");
        csv[0] = buffer2[1];
        String[] buffer3 = csv[csv.length - 1].split("\"");
        csv[csv.length - 1] = buffer3[0];
        for (String buffer : csv
        ) {
            FileUtils.writeStringToFile(new File("D://testdemo1.csv"), buffer+"\n","UTF-8",true);
        }
        webClient.close();
    }
}

打开csv文件，数据呈现

确认信息含义

这里没有表头，你不知道这些字段是什么对吧？

你把鼠标放到网页图标上，然后再对应json信息即可