Spingboot 开发一个JSON ETL

导语

最近参与的项目中，发现需要对接跟多的第三方API，而且这些API都是Restful的接口，返回的都是json，但是发现每个接口的对接都是写的自定义的方法，去逐层的的解析数据，工作量不仅大，而且没有复用性。自己也找了一些工具，并没有发现比较好用的JSON ETL 工具，然后我就自己根据自己的想法逐步的开发了一个是用于JSON的ETL工具。

JsonCleanseETL

SONCleanseETL是一款专业的数据清洗和转换工具，旨在为用户提供高效处理JSON格式数据的解决方案。 该工具不仅支持用户上传JSON数据进行处理，更具备通过HTTP自动调用指定URL获取数据的功能，并在数据到达后即刻进行清洗和转换， 以满足不同场景下的数据处理需求。这项创新技术为用户提供了一种前所未有的便捷性和灵活性，使其能够轻松应对多变的数据处理挑战。

项目地址 ：https://github.com/yanghaiji/JsonCleanseETL

主要功能

• JSON 数据清洗与校验
  JSONCleanseETL 提供了丰富的功能，能够自动识别并清洗 JSON 数据中的格式错误、无效值、重复记录等问题，确保数据的完整性和一致性。

• 数据结构转换与规范化
  该工具支持用户定义清洗规则和转换逻辑，可以根据需求对 JSON 数据进行结构转换、字段重命名、数据类型转换等操作，从而使数据达到所需的标准化格式。

• 支持多种数据输入方式
  JSONCleanseETL 提供了多种数据输入方式，包括上传 JSON 文件、直接粘贴 JSON 数据以及通过 HTTP 自动调用指定的 URL 获取数据， 为用户提供了更加灵活和便捷的数据导入方式。

• JsonPath Test 工具
  为方便大家验证编写的json path路径,已经保护敏感数据，JsonCleanseETL也提供了界面友好的json path测试页面

使用方法

• 统一配置
  这里的path 是标准的jsonpath语法 ，关于jsonpath的语法这里有详细的介绍

json:
  transforms:
    - config-id: "type1"
      title: "Type 1 Title"
      mappings:
        - targetName: personName
          path: "$.name"
          describe: describe
          operation: describe
          sourceName: name
        - targetName: personAge
          path: "$.age"
          describe: describe
          operation: describe
          sourceName: age
        - targetName: personAddress
          path: "$.wwww.address"
          describe: describe
          operation: describe
          sourceName: address

统一的配置完成后，JsonCleanseETL 支持您上传json / http调用目标接口，当然也支持您上传excel的方式，下方是调用http的方式的效果展示 关于上传的模板，和几种调用方式的paotman文件，大家可以参考 https://github.com/yanghaiji/JsonCleanseETL/tree/main/doc

JsonPath Test 工具

为方便大家验证编写的json path路径,已经保护敏感数据，JsonCleanseETL也提供了界面友好的json path测试页面

启动项目访问http://localhost:8088/etl/index，效果如下

为方便大家使用，目前也正在研发，自动生成jsonpath的功能，请大家持续关注 https://github.com/yanghaiji/JsonCleanseETL ，也可以添加小编微信·372787553，一起研讨