动态解析Json数据插入数据库

最新推荐文章于 2024-06-19 16:57:43 发布
最新推荐文章于 2024-06-19 16:57:43 发布
阅读量1.6k 收藏 9
点赞数 2
分类专栏： MyBatis 文章标签： mybatis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jdkss/article/details/105001036
版权

需求：动态获取其他网站的数据，获取得到的数据是json格式数据，数据格式不定，所以得动态生成数据表将数据插入数据库，使用框架为mybatis

列表数据如下

{
    "rtnCode": "000000",
    "rtnMsg": "success",
    "data": {
        "totalPage": "1",
        "totalSize": "1",
        "list": [
            {
                "name": "xxx",
                "idCard": "35xxxxxxxxxxxxxxxx",
                "guideNum": "D-3522-001332",
                "gender": "女",
                "rank": "初级",
                "date": "2017-12-08",
                "approver": "xxx",
                "id": "1886351"
            }
        ]
    }
}

详情数据如下

{
    "rtnCode": "000000",
    "rtnMsg": "success",
    "data": {
        "name": "xxx",
        "gender": "女",
        "spell": " ",
        "birthday": "1991-05-12",
        "idCard": "35xxxxxxxxxxxxxxxxxxxx",
        "validDate": "",
        "guideNum": "D-3522-001332",
        "qualificationCode": "DZG2006JXXXX",
        "randAndLanguage": " 普通话--初级    ",
        "nation": "汉族",
        "tel": "134xxxxxxxx",
        "organization": "xx市旅游协会导游工作部门",
        "touristAdministration": "xx市旅游发展委员会",
        "photo_front": "http://xxx.com/upload_a137919f030f8458761d202c468f2c2c.jpg",
        "photo_reverse": "http://xxx.com/upload_f94f8ca17c9078a82180e4f99b4ce854.jpg",
        "photo": "http://xxx.com/upload_d790b665898f74c39e8515e645857d3a.jpg",
        "result": "通过",
        "approver": "xxx",
        "company": "xx市旅游发展委员会"
    }
}

解析Json（请求到的数据假设最多只有三级，只处理到三级）

String st =  Post.sendHtpps("aaaaaa",taskConfig.getTask_api());
          if(st!=null) {
               JSONObject json1 =  JSONObject.parseObject(st);
           String code=json1.getString("rtnCode");
           if("900003".equals(code)) {
                String rtnCode="";
                String rtn="";
                for(int i=0;i<3;i++) {
                     rtn=loginConfigService.requestLoginConfig(taskConfig.getLogin_config_id());
                     if(rtn!=null) {
                          JSONObject json =  JSONObject.parseObject(rtn);
                       //获取item，得到json数组
                      rtnCode=json.getString("rtnCode");
                      System.out.println("正在重新登录。。。"+rtnCode);
                      if("000000".equals(rtnCode)) {
                           task(taskConfig);
                           break;
                      }
                     }
                }
           }
               else {
                    if ("900005".equals(code)) {
                         System.out.println("未查询到数据");
                    } else if ("000000".equals(code)) {
                         JsonUtils t = new JsonUtils();
                         Map<String, String> p1 =  t.jsonToMap(st);
                         System.out.println("这是获取到的数据：" + st);
                         String data2 = p1.get("data"); //  获取到data内的内容
                         Map<String, String> p2 =  t.jsonToMap(data2); // 将data内的内容转map集合
                         
                         if (p2.containsKey("list")) {// 如果json中包含list，则调用sqListService方法
                              String list = p2.get("list");  // 获取到list内的内容
                              List<Map<String, String>> p3 =  t.jsonToList(list);// 将list内容转换成List<Map>格式数据
                              String list_id =  UUIDUtils.getCode();
                              p2.put("list_id", list_id);
                              p2.remove("list");
                              p2.put("table_name", "SqList_"  + taskConfig.getTask_id());
                              for (Map<String, String> l :  p3) {
                                   l.put("list_id",  list_id);
                                   l.put("table_name",  "SqList_" + taskConfig.getTask_id() + "_list");
                              }
                              int row =  sqListService.createTable(p2, p3);
                              if (row == 0) {
                                   sqListService.addList(p2,  p3);
                              }
                         } else {// 如果json中不包含list，则调用dyinfoService方法
                              p2.put("table_name", "Dyinfo_"  + taskConfig.getTask_id());
                              int w =  dyinfoService.createNewTable(p2);
                              if (w == 0) {
                                   dyinfoService.insertData(p2);
                              }
                         }
                    }else {
                         System.out.println("请求超时");
                    }
               }

//Json解析核心内容
public void toJsonData(String str) {
       JsonUtils t=new JsonUtils();
      Map<String,String> p1=  t.jsonToMap(str);
      String data2=   p1.get("data"); //获取到data内的内容
      Map<String,String> p2=  t.jsonToMap(data2); //将data内的内容转map集合
     if(p2.containsKey("list")) {
         String list=   p2.get("list"); //获取到data内的内容
         List<Map<String, String>> p3=  t.jsonToList(list);
     }else {
       dyinfoService.add(p2);
     }
  }

列表数据动态建表插入SqList.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper
       PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
       "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
       <mapper namespace="com.hrt.mapper.SqListMapper">
       
             <update id="createTable_data" parameterType="java.util.Map">  
               CREATE TABLE IF NOT EXISTS ${dataMap.get("table_name")}
                <foreach collection="dataMap.keys" separator=" varchar(255),"  item="key" open="(" close=" varchar(255))">
                   <if test="key != 'table_name'">
                      ${key}
                   </if>
                </foreach>
           </update>
             <update id="createTable_list" parameterType="java.util.List">  
               CREATE TABLE IF NOT EXISTS ${list.get(0).get("table_name")}
               <if test="list.size > 0">
                      <foreach collection="list.get(0).keys" separator="  varchar(255)," item="key" open="(sid int NOT NULL AUTO_INCREMENT," close="  varchar(255),PRIMARY KEY (sid))">
                         <if test="key != 'table_name'">
                            ${key}
                         </if>
                      </foreach>
                </if>
           </update>
           
           <insert id="insertData" parameterType="java.util.Map">
               insert into ${dataMap.get("table_name")}
               <foreach collection="dataMap.keys" separator="," item="key"  open="(" close=")">
                  <if test="key != 'table_name'">
                ${key}
               </if>
               </foreach>
               values
               <foreach collection="dataMap.keys" item="key" separator=","  open="(" close=")">
                   <if test="key != 'table_name'">
                        #{dataMap[${key}]} 
                     </if>
               </foreach>
       </insert>
       
            <insert id="addList" parameterType="java.util.List">
              insert into ${list.get(0).get("table_name")}
              <if test="list.size > 0">
                    <foreach collection="list.get(0).keys" separator=","  item="key" open="(" close=")">
                        <if test="key != 'table_name'">
                       ${key}
                      </if>
                     </foreach>
                    values
                    <foreach collection="list" item="sq" index="index"  separator=",">
                           <foreach collection="list.get(index).keys" item="key"  separator="," open="("  close=")">
                              <if test="key != 'table_name'">
                             #{sq.${key}}
                            </if>
                           </foreach>
                    </foreach>
              </if>
           </insert>
       </mapper>

SqListMapper.java

public interface SqListMapper {
      public void add(Map<String, String> map);
      int insertData(@Param("dataMap") Map<String, String>  dataMap);
      int addList(List<Map<String,String>> list);
      int createTable_data(@Param("dataMap") Map<String,  String> dataMap);
      int createTable_list(List<Map<String, String>>  list);
}

SqListService.java

public interface SqListService {
      /**
       *
      * @Title: addList
      * @Description: TODO
      * @param @param list
      * @return void
      * @throws
       */
      int addList(Map<String, String>  dataMap,List<Map<String,String>> list);
      /**
       *
      * @Title: createTable
      * @Description: TODO 创建数据表
      * @param @param dataMap
      * @param @param list
      * @param @return
      * @return int
      * @throws
       */
      int createTable(Map<String, String>  dataMap,List<Map<String, String>> list);
}

SqListServiceImpl.java

@Service("sqListService")
public class SqListServiceImpl  implements SqListService{
     @Autowired
     SqListMapper sqListMapper;
     @Override
     public int addList(Map<String, String>  p2,List<Map<String, String>> list) {
          // TODO Auto-generated method stub
          int m=sqListMapper.insertData(p2);
          int n=sqListMapper.addList(list);
          return m+n;
     }
     public int createTable(Map<String, String>  dataMap,List<Map<String, String>> list) {
          int m=sqListMapper.createTable_data(dataMap);
          int n=sqListMapper.createTable_list(list);
          return m+n;
     }
}

详情数据动态建表插入Dyinfo.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper
       PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
       "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
       <mapper namespace="com.hrt.mapper.DyinfoMapper">
           <update id="createNewTable" parameterType="java.util.Map">  
               CREATE TABLE IF NOT EXISTS ${dataMap.get("table_name")}
                <foreach collection="dataMap.keys" separator=" varchar(255),"  item="key" open="(id int(11) NOT NULL AUTO_INCREMENT," close="  varchar(255),PRIMARY KEY (id))">
                   <if test="key != 'table_name'">
                      ${key}
                   </if>
                </foreach>
           </update>
           <insert id="insertData" parameterType="java.util.Map">
               insert into ${dataMap.get("table_name")}
               <foreach collection="dataMap.keys" separator="," item="key"  open="(" close=")">
                   <if test="key != 'table_name'">
                      ${key}
                   </if>
               </foreach>
               values
               <foreach collection="dataMap.keys" item="key" separator=","  open="(" close=")">
                   <if test="key != 'table_name'">
                      #{dataMap[${key}]}
                   </if>
               </foreach>
       </insert>        
       </mapper>

DyinfoMapper.java

public interface DyinfoMapper {
int insertData(@Param("dataMap") Map<String, String>  dataMap);
int createNewTable(@Param("dataMap") Map<String, String>  dataMap);
}

DyinfoServiceImpl.java

public class DyinfoServiceImpl  implements DyinfoService{
     @Autowired
     DyinfoMapper dyinfoMapper;
     @Override
     public int insertData(Map<String, String> p2) {
          // TODO Auto-generated method stub
          int n=dyinfoMapper.insertData(p2);
          return n;
     }
     @Override
     public int createNewTable(Map<String, String>  dataMap) {
          // TODO Auto-generated method stub
          return dyinfoMapper.createNewTable(dataMap);
     }
}

DyinfoService.java

public interface DyinfoService {
     /**
     * @Title: insertData
     * @Description: TODO
     * @param @param p2
     * @return void
     * @throws
     */
     int insertData(Map<String, String> p2);
     /**
      *
     * @Title: createNewTable
     * @Description: TODO
     * @param @param dataMap
     * @param @return
     * @return int
     * @throws
      */
     int createNewTable(Map<String, String> dataMap);
}

存储效果
通过list_+时间来生成表名
表内数据

注：为了避免数据回滚，利用spring的特性，将可能会回滚的操作放在一个方法里面，可实现同时回滚。

是老王吖
关注
专栏目录
python解析json文件写入数据库_python解析jason串，数据存入数据库
weixin_39540271的博客
12-04 1623
#######################{"xxxx":{ "errsum": 0, "result":{ "os": { "v_message": { "check": "OK", "info": "" }, "v_space": { "check": "OK", "info": "" }, "v_indoe": { "check": "OK", "info": "" }, "v_awai...
idea Java 解析json文件并导入mysql数据库
11-10
本教程将详细讲解如何在Idea中使用Java解析JSON文件，并将数据有效地导入到MySQL数据库。 首先，我们需要理解JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器...
解析Json保存到数据库
04-21
NULL 博文链接：https://cici9898-007.iteye.com/blog/1930915
解析JSON插入数据库
weixin_34355559的博客
04-08 176
&lt;?php header("Content-Type:text/html;charset=utf-8"); include_once('./mysql.php'); $filename = "F:/heyu.txt"; $handle = fopen($filename, "r");//读取二进制文件时，需要将第二个参数设置成'rb' //通过filesize获得文件大小，...
newtonsoft.json动态读取json以及动态生成
最新发布
qq_36437991的博客
06-19 571
newtonsoft.json动态读取json以及动态生成，超级详细
json解析放入数据库
guoleisb10的博客
09-21 2883
布局： 1.     xmlns:tools="http://schemas.android.com/tools"     android:layout_width="match_parent"     android:layout_height="match_parent">             android:id="@+id/list_view"
解析JSON接口并批量插入到数据库中
chen的博客
06-20 1617
接口为NBA接口json接口 使用hutool工具类在后端进行解析（防止跨域） 获取前端传递的数据使用fastJSON进行解析并批量插入 前端vue发送请求 大功告成1
接受JSON数据如何解析处理以及插入本地数据库
wyzjw111的博客
06-13 398
Json数据解析
JSON复杂数据处理之Json树形结构数据转Java对象并存储到数据库的实现
10-22
"JSON复杂数据处理之Json树形结构数据转Java对象并存储到数据库的实现" JSON复杂数据处理之Json树形结构数据转Java对象并存储到数据库的实现是指将JSON复杂数据处理后的数据转换为Java对象，并将其存储到数据库中。...
技术支持利用JSON数据批量操作数据库（插入、更新）
08-06
本篇文章详细介绍了如何利用JSON数据批量操作数据库（插入、更新），包括JSON数据的解析、数据库的连接与操作以及异常处理等方面的知识点。通过这些知识点的学习，读者可以更好地理解和应用相关的技术，在实际项目...
PHP接收json 并将接收数据插入数据库的实现代码
01-20
最近有一个需求，前端向后台提交json，后台解析并且将提交的值插入数据库中， 难点 1、php解析json（这个不算难点了，网上实例一抓一大把） 2、解析json后，php怎样拿到该拿的值 <?php require ('connect.php');...
JSONSchemaDatabase从JSON格式动态生成表并插入数据
08-10
JSON Schema ➣ Database 从JSON格式动态生成表并插入数据
省市区json数据插入数据库
10-17
这是一篇将最新的省市区json数据通过java读取之后,遍历然后存储到数据库中的资源,json数据和数据库sql都包含在内,.java文件中是通过url访问的,controller可能需要稍微改一下,不想搞得话就直接运行sql文件吧!
Java针对json类型数据的解析和生成，直接连接数据库写进oracle数据表
09-03
json报文的解析，写入数据库； 通过数据库取值，生成json报文
存取json数据到数据库
FirstMrRight的博客
10-31 6392
存取json数据到数据库 一、方案实现： 开发中可能会遇到这样的需求：比如说页面的一个N*N的表格中需要存取多个字段，如下图所示，很明显这里是需要支持动态添加的，如果此时我们建立对应的字段如插入的话，显然是一种比较麻烦的方式，所以我们可以使用在对应的实体类中添加一个List或者是JsonArray字段来表达对应的字段。如图二所示: 二、方案所需环境 ①：MyBatis-Plus ②：MySQL等 如果您的需求里仅仅是将所存入数据作为一个存储持久化和展示的功能，那么对您的数据库版本基本无要求，只需要使用M
集算器解析动态JSON入库
一台数据分析的机器！
08-07 310
  来源：http://bbs.csdn.net/topics/390611005 。   系统采集的JSON格式数据（s.json）如下：   {     “SUCCESS”: [         {             "MESSAGE": "IMEI Service List",             "LIST": {                 "MOVISTA...
动态解析JSON字符串，将数据存入数据库
qq_35358818的博客
10-04 8212
我在使用netty时候，由于不同设备发出的JSON字符串不一样，我需要一个动态解析JSON字符串方法去解决，我的思路是先将json字符串通过gson这个类转成map,由于在运行期间无法得知T的具体类型，对这个类的对象进行序列化和反序列化都不能正常进行。Gson通过借助TypeToken类来解决这个问题。 //实例化gson Gson gson=new Gson(); //实例化...
保存Json对象到数据库
kezhou的博客
02-21 1566
有两种实现方式，一种是直接保存 Json 对象到数据库，这种方式在创建实体类以及编写 Mapper XML 脚本时需要对 Json 对象做格式转换，另一种是直接以字符串保存，取用时使用。通常要保存一个 Json 字符串的话，一般都是比较大的数据，项目过程中可能需要保存 Json 对象到数据库中。要根据具体的数据量的大小决定使用。然后在编写 Mapper XML 脚本时，语句中需要对 Json 属性的字段设置。以字符串类型保存很简单，如下。解析为 Json 对象。类型是不够的，而需要用。
java动态json入库_java – GSON解析动态JSON字段
weixin_36036343的博客
02-26 135
我似乎无法弄清楚这一点.我看了几个SO帖子(here和here),我的情况有点不同.我不确定我是否必须注册一个新的TypeToken或什么.但我的JSON对象如下所示：{"id": 6,"error": "0","dates": {34234 : "2011-01-01" // I want to parse the date into a string.87474 : "2011-08-09" ...
shell解析json并插入数据库
05-18
在Shell中解析JSON并将其插入数据库，可以使用jq和sqlite3这两个工具。以下是一个简单的脚本示例： ```bash #!/bin/bash # 从API获取JSON数据 RAW_JSON=$(curl -s https://example.com/api/data) # 使用jq解析JSON数据 PARSED_JSON=$(echo $RAW_JSON | jq -c '.[]') # 遍历解析后的JSON数据并插入数据库 while read -r line; do name=$(echo $line | jq -r '.name') age=$(echo $line | jq -r '.age') address=$(echo $line | jq -r '.address') # 将数据插入SQLite数据库 sqlite3 example.db "INSERT INTO users (name, age, address) VALUES ('$name', '$age', '$address')" done <<< "$PARSED_JSON" ``` 这个脚本首先从API获取JSON数据，然后使用jq将其解析为一个数组。接着，它遍历数组中的每个对象，并将其插入到SQLite数据库中的“users”表中。 请注意，这个脚本是一个简单的示例，可能需要根据实际情况进行修改。例如，你可能需要添加更多的错误处理和数据验证逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值