根据现有的API接口将获取JSON数据写入数据库

最新推荐文章于 2024-07-07 10:15:15 发布
最新推荐文章于 2024-07-07 10:15:15 发布
阅读量1w 收藏 58
点赞数 7
分类专栏： 基本数据 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45596627/article/details/105246325
版权

根据现有的API接口将获取JSON数据写入数据库

利用API将获取数据存入数据库

获取API的URl 的原则

例如网址API的网址为：https://wuliang.art/ncov/doc.html#/default/谣言/getRumorListUsingGET
注意：但是在你获取的URl为：http://wuliang.art/ncov/rumor/getRumorList?page=36
解释：
ncov/rumor/getRumorList：是API的接口名
page：参数

pom.xml文件导入

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.4</version>
        </dependency>
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.12.1</version>
        </dependency>

第一步：创建相对应的类

比如谣言的类：

    private Integer id;

    private String dateRumor;

    private String explainRumor;

    private String author;

    private String abstractRumor;

    private String title;

    private String authordesc;

    private String idRumor;

注意：get、set别忘记了

完整实例

1.接口所返回的数据是：

"code": 200,
  "message": "SUCCESS",
  "data": [
    {
      "date": "2020-03-02",
      "explain": "确有此事",
      "arttype": "normal",
      "author": "腾讯新闻旗下专业事实查证平台",
      "section": "",
      "abstract": "据黄梅县人民政府通报：2月28日上午9:30左右...",
      "title": "湖北黄冈村民误服二氧化氯消毒片",
      "type": 1,
      "coversqual": "https://p.qpic.cn/jiaozhen/0/884fbc1ffdaae1aa29ba3049c261f637/0?imageView2/2/w/300/h/300",
      "result": "真",
      "cover": "https://p.qpic.cn/jiaozhen/0/884fbc1ffdaae1aa29ba3049c261f637/0?imageView2/2/w/150/h/90",
      "iscolled": false,
      "videourl": "",
      "authordesc": "腾讯新闻旗下专业事实查证平台",
      "coverrect": "https://p.qpic.cn/jiaozhen/0/884fbc1ffdaae1aa29ba3049c261f637/0",
      "markstyle": "true",
      "id": "7bf8bf25a07220ad74d4888acde8389d",
      "tag": [
        "湖北黄冈",
        "消毒片"
      ]
    },
    {
      "date": "2020-03-02",
      "explain": "尚无定论",
      "arttype": "normal",
      "author": "腾讯旗下专业医学科普平台",
      "section": "",
      "abstract": "针灸是一种传统医学中的治疗方式。此前针对针灸到底是否有效...",
      "title": "李跃华的穴位注射苯酚疗法对新冠肺炎治疗有效",
      "type": 1,
      "coversqual": "https://p.qpic.cn/jiaozhen/0/f328dfe6fbfab4f704f28ce6d5ea2d0a/0?imageView2/2/w/300/h/300",
      "result": "疑",
      "cover": "https://p.qpic.cn/jiaozhen/0/f328dfe6fbfab4f704f28ce6d5ea2d0a/0?imageView2/2/w/150/h/90",
      "iscolled": false,
      "videourl": "",
      "authordesc": "腾讯旗下专业医学科普平台",
      "coverrect": "https://p.qpic.cn/jiaozhen/0/f328dfe6fbfab4f704f28ce6d5ea2d0a/0",
      "markstyle": "doubt",
      "id": "8658ac436dabd86be6605e47e7bff3c0",
      "tag": [
        "针灸",
        "新型冠状病毒"
      ]
    }

那么就可以用以下的代码块实现

   @RequestMapping("/rumor")
    public JSONObject rumor() throws Exception{

            CloseableHttpClient client = HttpClients.createDefault();
 //           for(int i=13;i<37;i++)
            String url = "http://wuliang.art/ncov/rumor/getRumorList?page=36";
            JSONObject jsonObject = null;
            HttpGet post = new HttpGet(url);
            try {
                post.addHeader("content-type", "text/xml");
                HttpResponse res = client.execute(post);
                if (res.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {
                    String result = EntityUtils.toString(res.getEntity());
                    jsonObject = JSONObject.parseObject(result);
            //        JSONObject jsonObject1= (JSONObject) jsonObject.get("data");
                List<Map<String,Object>> list = (List<Map<String, Object>>) jsonObject.get("data");
               for(Map<String,Object> map:list) {
                   RumorDo rumorDo = new RumorDo();
                   rumorDo.setDateRumor((String) map.get("date"));
                   rumorDo.setExplainRumor((String) map.get("explain"));
                   rumorDo.setAuthor((String) map.get("author"));
                   rumorDo.setAbstractRumor((String) map.get("abstract"));
                   rumorDo.setTitle((String) map.get("title"));
                   rumorDo.setAuthordesc((String) map.get("authordesc"));
                   rumorDo.setIdRumor((String) map.get("id"));

                   rumorService.insert(rumorDo);
               }

注意：data不是json数据中的
如果接口所返回的数据为：

{
  "code": 200,
  "message": "SUCCESS",
  "data": {
    "docs": [
      {
        "h5url": "https://h5.baike.qq.com/mobile/article.html?docid=tx20406001v3lknw&amp;adtag=txxw.op.fybox",
        "image": "https://baike-med-1256891581.file.myqcloud.com/2020023/dec99f30-5843-11ea-b711-37db0881b500_0.jpg",
        "abs": "截至目前，NMPA共批准新冠病毒检测试剂15个，核酸检测试剂10个，抗体检测试剂5个。",
        "title": "15种新冠病毒检测获批，它们是如何检出病毒的？",
        "author_info": {
          "name": "",
          "icon": "https://baike-med-1256891581.file.myqcloud.com/yidian/production/common/image/source_wicon.png",
          "title": "",
          "department": "",
          "hospital": "腾讯医典医学团队"
        }
      },
      {
        "h5url": "https://h5.baike.qq.com/mobile/article.html?docid=tx204060015beohw&amp;adtag=txxw.op.fybox",
        "image": "",
        "abs": "WHO将病毒传染给十人以上的患者定义为超级传播者。",
        "title": "1个感染10个，“超级传播者”如何防控？",
        "author_info": {
          "name": "",
          "icon": "https://baike-med-1256891581.file.myqcloud.com/yidian/production/common/image/source_wicon.png",
          "title": "",
          "department": "",
          "hospital": "腾讯医典医学团队"
        }
      }
    ],
    "count": 35
  }
}

那么所要获取的数据就要多一个：`

    @RequestMapping("/diagnosis")
    public JSONObject diagnosis() throws Exception{
       CloseableHttpClient client = HttpClients.createDefault();
        String url = "http://wuliang.art/ncov/news/getDiagnoseList?count=999";
        HttpGet post = new HttpGet(url);
        JSONObject jsonObject = null;
        try{
           post.addHeader("content-type","text/xml");
           HttpResponse res = client.execute(post);
           if(res.getStatusLine().getStatusCode() == HttpStatus.SC_OK){
                String result = EntityUtils.toString(res.getEntity());
                jsonObject = JSONObject.parseObject(result);
                JSONObject jsonObject1= (JSONObject) jsonObject.get("data");
                List<Map<String,Object>> list = (List<Map<String, Object>>) jsonObject1.get("docs");
              for(Map<String,Object> map:list){
                 for(Map.Entry<String,Object> entry:map.entrySet()){
                     System.out.println("key:"+entry.getKey()+","+"value:"+entry.getValue());
                     Giagnosis giagnosis = new Giagnosis();
                     giagnosis.setH5url();
                 }
                   DiagnosisDo diagnosisDo =new DiagnosisDo();
                   diagnosisDo.setH5url((String) map.get("h5url"));
                  diagnosisDo.setImage((String) map.get("image"));
                 diagnosisDo.setAbs((String) map.get("abs"));
                   diagnosisDo.setTitle((String) map.get("title"));
                  //diagnosisDo.setAuthorInfo((String) map.get("author_info"));
                   System.err.println(map.get("h5url"));
                  //  diagnosisService.insert(diagnosisDo);

              }
           }

       }catch (Exception e){
           throw  new RuntimeException(e);
       }
        return jsonObject;
   }

注意：两个代码块的

第一个

  jsonObject = JSONObject.parseObject(result);
            //        JSONObject jsonObject1= (JSONObject) jsonObject.get("data");
                List<Map<String,Object>> list = (List<Map<String, Object>>) jsonObject.get("data");

第二个

  JSONObject jsonObject1= (JSONObject) jsonObject.get("data");
                List<Map<String,Object>> list = (List<Map<String, Object>>) jsonObject1.get("docs");

大家可以根据自己的需求试一试

small xiuxiu
关注
专栏目录
java 读取api_java-API之数据的读取与写入的总结
weixin_29276847的博客
02-28 723
数据的读取与写入数据写入分为字节流和字符流，字符流常用于纯文本的操作，字节流除了纯文本，还可以用于图片、视频等，使用范围更宽泛。字节流读取使用的类：InputStream --> FileInputStream --> BufferedInputStreamInputStream in1 = new BufferedInputStream( new FileInputSteam( "F...
python调用api接口并且将数据存入数据库_Python调用API接口的几种方式 数据库 脚本...
weixin_39571749的博客
12-04 2577
Python调用API接口的几种方式2018-01-08 gaoeb97nd... 转自 one_day_day...修改微信分享：相信做过自动化运维的同学都用过API接口来完成某些动作。API是一套成熟系统所必需的接口，可以被其他系统或脚本来调用，这也是自动化运维的必修课。本文主要介绍python中调用API的几种方式，下面是python中会用到的库。- urllib2- httplib2-...
springboot实现调用第三方接口获取数据并存入数据库
Sleten09的博客
12-09 2万+
简介 使用springboot框架，调取第三方接口的数据并存入mysql库，不是专门搞java开发的，只是一个sqlboy，欢迎各位大佬指点建议 准备 1、准备一个第三方接口，我这里用的之前参考另一位大佬的文章使用的api，链接在文末 2、根据返回参数，在mysql数据库新建对应表用于接收数据 CREATE TABLE `joke` ( `id` varchar(100) DEFAULT NULL, `text` varchar(2000) DEFAULT NULL, `title` var
飞书 API 2-4：如何使用 API 将数据写入数据表
最新发布
明而决之
07-07 1679
上一篇创建好数据表之后，接下来就是写入数据和对数据的处理。本文主要探讨数据的插入、更新和删除操作。所有的操作都是基于上一篇（飞书 API 2-4）创建的数据表进行操作。上面最终的数据表只有 2 个字段：序号和邮箱。序号是多维表自动填充的自增数字，所以我们处理的时候不需要处理该字段，只需要处理邮箱即可。
编写一个API读取数据后写入数据库的程序框架
weixin_42581003的博客
02-14 496
读取数据API： 首先需要定义读取数据的API接口，并且根据需求确定接口的请求方式(如GET或POST)，请求参数以及响应格式。 使用编程语言实现API接口，通过读取请求中的参数，对数据源进行读取操作，并将读取到的数据封装成响应格式返回。 写入数据库： 选择一个数据库管理系统(如MySQL，MongoDB等)，并连接到数据库。 定义数据的存储结构(如表格)，创建表。 将读取到的数据插入数据库...
使用API获取json格式数据解析后插入数据库（过程详解）
JJBOOM425的博客
11-17 4624
这周在开发中遇到一些所需数据但是不在数据库中，需要我们调用API接口向服务器请求信息下来，但是那些信息都是json格式的数据不能直接插入到数据库中。 一、首先在pom.xml中的dependencies标签中copy下面的代码，导入gson的jar包： <!-- https://mvnrepository.com/artifact/com.google.code.gson/gson -...
通过调用接口写入数据库
Davina_yu的博客
05-28 292
有一批数据，希望通过调用接口写入数据库，接口QPS为100，并发调用接口的线程数为80-120之间，设计一个写入数据的算法。
Java读取http api接口数据存入Mysql
HelyD的博客
11-28 817
Mysql http api
python 调用API接口 获取和解析 Json数据
12-17
调用API接口数据，抽取我们所需类型的数据，并写入指定mysql数据库。 先从宏观上看这个任务，并对任务进行分解： step1：需要学习python下的通过url读取数据的方式； step2：数据解析，也是核心部分，数据格式从...
spring怎样把API接口获取的JSON数据写入数据库
04-21
以JdbcTemplate为例，您可以使用其提供的update方法执行SQL语句将JSON数据写入到数据库中，如下所示： ```java @Autowired private JdbcTemplate jdbcTemplate; public void saveJsonData(String jsonData) { ...
python调用接口获取数据并将数据存入数据库_python读取百度推广api接口的数据并传入数据库代码的整合...
weixin_39588104的博客
12-19 1220
import requests,json,datetime,reimport pandas as pdtoday = datetime.date.today()oneday = datetime.timedelta(days=1)yesterday = today-onedaydef getRealTimeData(username,password,token):url = "https://a...
python调用api接口获取数据传递给前端_python 调用API接口 获取和解析 Json数据
weixin_39620273的博客
12-09 2499
任务背景：调用API接口数据，抽取我们所需类型的数据，并写入指定mysql数据库。先从宏观上看这个任务，并对任务进行分解：step1：需要学习python下的通过url读取数据的方式；step2：数据解析，也是核心部分，数据格式从python角度去理解，是字典？列表？还是各种嵌套？step3：连接mysql数据库，将数据写入。从功能上看，该数据获取程序可以分为3个方法，即step1对应方法requ...
nodejs爬取api接口数据添加到mysql数据库
longshao_520的博客
09-14 1516
nodejs爬取api接口数据添加到mysql数据库 1.nodejs+express脚手架+mysql数据库 2.用node爬取api接口的数据 3.node连接mysql数据库 4.把爬取出来的数据添加到mysql数据库中
飞书API（6）：使用 pandas 处理数据并写入 MySQL 数据库
明而决之
04-28 2059
本文介绍了如何处理飞书的 28 中数据类型，以及通过 sqlalchemy 库将处理好的数据入库。在探索一个未知的领域时，一般会从个别典型的案例先入手，随着认知的不断深入，逐渐有全局观，便会考虑通用案例，然后在通用案例下，再考虑局部的需求定制。 本文是一个比较全面的案例，更多的是在提供一个解决思路，相关代码的可拓展性较差，下一遍介绍另外一个飞书的 API 读取多维表的元数据来优化可拓展性问题，使得代码变得更加通用。下下篇则在通用的基础上再做定制化需求。
自动解析api接口数据并生成数据库表和插入数据
一个摩羯座的程序猿
04-12 3505
一、业务需求 根据api接口返回的数据进行自动解析，将解析的数据自动生成数据库的建表和插入数据的sql语句同时自动执行操作生成数据表和插入api接口的数据 二、技术架构和实现 1.技术架构 spring cloud微服务框架、Mybatis、MySQL数据库 2.实现思路 1）调用HttpClientUtil访问第三方api接口并返回json数据 2）将数据通过json解析工具进行解析，采用的是递归方式解数据结构 3）将解析好的数据结构保存到实体类，主要有json的kev和value及val
调用第三方接口获取数据写入数据库
热门推荐
myme95的博客
10-17 4万+
系统框架：springboot（和框架没有什么太大关系，仅记录一下） 调用路径：controller→service 第三方接口：http://xx.xxx.com:9905/api/list?transtime=20181017105600&token=abcdefghijklmn 请求参数：{"data":"{\"xxx\":\"\",\"xx\":\"\",\"xxxx\":\...
第三方接口获取数据存入本地数据库（SQLSERVER）方法
qq_43466012的博客
09-06 1万+
从第三方获取数据存入本地数据库的方法，采用的是SSM框架+定时器 Quartz完成，该实例没有前端操作，用Quartz每天定时触发获取数据存入本地数据库，代码包含了解决SQLSERVER大批量插入数据库时会报该服务器仅支持传入2100个参数的错误解决代码
基于java的web开发：API调用获取数据并将其写入数据库（JSON字符串解析）
qq_44242707的博客
07-11 2296
支持 JSON字符串分析读取所需包： 链接：https://pan.baidu.com/s/1tKPdEm_miwvT6EuJIeM5vg 提取码：kir9 java文件内：import net.sf.json.JSONArray; import net.sf.json.JSONObject; 预先写好的SQL类（调用函数提供插入操作） API数据类型 { "code": 200, "message": "SUCCESS", "data": [ { "date": "
如何将Json格式的数据写入数据库？
m0_67819674的博客
02-21 3499
保姆教程教你如何将json数据写入数据库，附源码！！！
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值