CEAMS集成工具:可视化、自动化解决EXCEL文件表头格式不一致问题

Hello,大家好,在这辞旧迎新的2020年初,小编又来更新啦。这次将给大家分享一款对于企业来说超级实用的数据集成工具。在实际工作中,经常需要将数据以图表的形式来展示数据的价值,并且进一步大数据分析;然而数据处理过程中,数据整理经常就花费了80%的时间,尤其经常会碰到excel文件数据表头格式不一致的问题,“某某部门又没有按格式反馈数据”、“每个分公司的报表,表头五花八门,整理起来太头疼”……是的,excel数据汇总,每每碰到数据表头格式不一致时,只想大声喊到:我太“南”了!!! 数据格式统一实在是太重要了。

今天,小编给大家分享一款数据集成工具:CEAMS集成工具,生成通用的excel表头,快速实现数据格式标准化,节省日常数据处理人工消耗,数据变现最大化。假设,我们手头上有几份来自不同省份的食品监管数据excel文件,其中每份数据表头格式是不一致的,需要将它们转换成统一规范的格式。接下来,我们一起看看如何通过CEAMS集成工具实现数据格式标准化。以湖北省食品、甘肃省、江苏省抽检不合格数据为例。

 

  • 现有excel文件数据表头:

①湖北省食品抽检不合格数据部分截图

②甘肃省食品抽检不合格数据部分截图

③江苏省食品抽检不合格数据部分截图

问题描述:仔细看看这些表格会发现,它们的表头都不大一致,其中一些关键信息的格式都差了很多,比如“不合格项目||检验结果||标准值”这列,湖北省、江苏省用的是

,而甘肃省用的是

,如果直接用原格式开展大数据分析工作,出来的结果可能会出现偏差,不够精细化。

 

  • 经过CEAMS集成工具处理之后,标准化格式的数据表头:

使用格式标准化的数据,确保数据的一致性,有利于开展大数据与可视化数据集成和强大的预测分析,有助于企业实时决策。

 

一、CEAMS集成工具的整体工作流程

 

二、CEAMS集成工具简易的操作方法

1、从左边的工具箱中选择对应的组件,按照上图1所示顺序依次放置,并用连线将其连接好。

2、双击下图所示组件,创建其属性设置:对应的服务以及接口;点击保存。

3、双击下图所示组件,创建其属性设置:选择对应的服务以及接口;点击保存。

4、双击下图所示组件,在Transform Message处,将鼠标放在输入中的某个字段,然后鼠标长按,拖动到输出中匹配的字段,从而创建输入和输出字段之间的实际映射。匹配所有相同和相似的名称,如抽样编号匹配抽样编号、产品名称匹配名称。

5、点击右上角的“测试”按钮,根据提示,选择需要处理的excel源文件,点击保存,CEAMS集成工具在线完成测试。

6、下方的Console中提示“测试成功!”,即表示数据成功转换标准化格式,并且标准化格式数据也同步导入到数据库中了。

拿着这些转换好的标准数据,进一步开展大数据整合、建模、分析、管理工作,就方便多了,无需再为了数据整理劳心劳力,实现运营的数据报表自动化,实现大数据分析可视化。

 

三、关于CEAMS集成工具的三大重要组件

操作步骤说完了,现在我们来看看CEAMS集成工具中三个非常重要的组件。

1、组件1

由CEAMS平台负责,针对用户具体需求进行定制化开发。该组件的主要功能为将输入的源数据解析成JSON格式输出。以上述食品监管数据为例,具体输出的JSON格式内容如下(内容较多,仅展示一行数据转换的JSON内容):

测试 湖北省数据 组件
输出:
{
"output":[
{
"sid":"GC19420000003335391",
"pname":"/",
"paddress":"/",
"cname":"武汉中商超市连锁有限公司黄石延安路店",
"caddress":"黄石市延安路122号",
"name":"韭菜",
"standard":"散装称重",
"trademark":"/",
"pdate":"/",
"reason":"腐霉利",
"test_results":"腐霉利",
"rlimit":"腐霉利",
"result":"不合格",
"type":"食用农产品",
"notification_no":"2019年第41期",
"time":"2019-10-31",
"province":"湖北",
"level":"总局国抽",
"notifying_unit":"湖北省食品质量安全监督检验研究院",
"remark":"抽样日期:2019-07-31"
}

2、组件2

由用户自行操作,匹配数据字段;该组件的主要功能为将组件1解析出来的JSON格式内容转换成具有统一标准化格式的数据输出。以上述食品监管数据为例,具体输出的标准化数据内容如下(内容较多,仅展示一行数据转换的标准化格式内容):

开始Transform数据
输出:
[
{
"sid":"GC19420000003335391",
"pname":"/",
"paddress":"/",
"cname":"武汉中商超市连锁有限公司黄石延安路店",
"caddress":"黄石市延安路122号",
"name":"韭菜",
"standard":"散装称重",
"trademark":"/",
"pdate":"/",
"reason":"腐霉利",
"test_results":"腐霉利",
"result":"不合格",
"rlimit":"腐霉利",
"type":"食用农产品",
"notifying_no":"2019年第41期",
"time":"2019-10-31",
"province":"湖北",
"level":"总局国抽",
"notifying_unit":"湖北省食品质量安全监督检验研究院",
"remark":"抽样日期:2019-07-31"
}

3、组件3

,与组件1相同,由CEAMS平台负责开发;主要功能提供数据标准化统一格式,同步将组件2输出的数据导入到数据库中。

 

四、总结

CEAMS集成工具,基于微服务的理念,将应用模块化封装,通过统一的API调用实现模块间交互;为企业提供云端一体化的集成开发环境,无需安装配置单独的开发环境工具,登陆浏览器即可随时随地在线处理数据集成工作;基于node.js开发,输入数据源,将其自动转换成标准简洁的JSON数据格式,对数据结构进行编排重组聚合集成;提供可视化、自动化的数据集成流程,帮助企业降本增效,最大化实现数据价值。

(完)

 

想了解更多关于CEAMS集成工具的信息,可以发送邮件至灵长科技邮箱:

邮箱 : sales@apemesh.com 1217506285@qq.com

公司网址:

灵长科技​www.apemesh.com图标

 

今天的分享就到这里了,感谢各位读者的阅读。如您对小编分享的文章感兴趣,您可以在文章下方点赞、分享或收藏;还可以通过搜索关注知乎专栏《微服务应用开发和API管理》,或者扫描下方二维码关注灵长科技官方公众号,点击关注,获取最新更新动态。

<未经同意,本文禁止转载或摘编>

发布了37 篇原创文章 · 获赞 4 · 访问量 9536
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览