【网络爬虫】HttpClient抓取+解析+存储数据

最新推荐文章于 2023-04-06 00:21:28 发布

童小绿

最新推荐文章于 2023-04-06 00:21:28 发布

阅读量3.4k

点赞数 1

文章标签：网络爬虫

本文链接：https://blog.csdn.net/tsj11514oo/article/details/71024309

版权

本文详细介绍了如何使用HttpClient进行网络数据抓取，然后结合自定义的JSON工具类进行数据解析，并利用文件IO工具类将解析后的数据存储。通过封装和测试各个工具类，实现了完整的数据处理流程。

摘要由CSDN通过智能技术生成

前面使用了HttpClient抓取数据（http://blog.csdn.net/tsj11514oo/article/details/71023314），现在我们就要进行对数据的解析和存储。实现整一套的流程：抓取——解析——存储。重点是封装了工具类。

结构：

这里写图片描述

代码：

（1）封装转JSON工具类：

```
    package com.tsj.simple.utils;   
    import java.util.Iterator;  
    import org.json.simple.JSONArray;
    import org.json.simple.JSONObject;
    import org.json.simple.JSONValue;   
    /**
     * json解析工具类
     * @author tsj-pc
     */
    public class JsonOperatorUtil {
   
            public static JSONObject toJSONObject(String str) {
                    return (JSONObject) JSONValue.parse(str);
            }   
            public static JSONArray toJSONArray(String str) {
                    return (JSONArray) JSONValue.parse(str);
            }   
            public static void main(String[] args) {
                    String str = "[{\"one\":1,\"two\":\"2\"}]";
    //      JSONObject jsonObject = JsonOperatorUtil.toJSONObject(str);
            JSONArray jsonObject = JsonOperatorUtil.toJSONArray(str);           
            Iterator<JSONObject> iterator=jsonObject.iterator();
            while