基于物联网的智慧城市技术架构由传统数据仓库向flink流批一体数据仓库跃升

最新推荐文章于 2024-06-20 08:22:56 发布

科学的N次方

最新推荐文章于 2024-06-20 08:22:56 发布

阅读量536

点赞数

分类专栏：数据仓库技术体系

本文链接：https://blog.csdn.net/chenshijie2011/article/details/117250025

版权

数据仓库技术体系专栏收录该内容

141 篇文章 51 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

随着城市物联网的发展，传统数据仓库无法满足实时性需求。在浙江某童装业大镇的智慧城市项目中，面对精细化管理和安全监管的需求，原有的数仓架构显得力不从心。项目采用ETL处理数据，通过SpringBoot处理实时推送，并通过共享开放平台提供服务。然而，面对未来的挑战，可能需要转向Flink流批一体的数据仓库解决方案。

摘要由CSDN通过智能技术生成

      过去公司智慧城市项目，由于追求稳定性，数仓基本还是沿用比较成熟的传统数仓，但是随着近两年城市物联网部件的逐渐增多，实时性的需求逐渐增加。目前发现传统数仓架构已经越来越难以满足智慧城市的需求，即使勉强能够支撑，也显得不伦不类。
接下来讲讲本人最近一个智慧城市数据仓库项目：
      本项目实施的背景是浙江某童装业大镇，由于发展迅猛，对智慧城市的需求提上日程。尤其是需要大屏可视化展示全镇面貌，下设经济发展，综合治理，精细化管理，安监管理，数据资产五个主题，其中尤其是精细化管理和安全监管对当地政府意义重大，因为这个涉及到与此同时间推动的社会网格化管理。
      本人通过调研发现，需要精细化管理的车辆，垃圾分类，城管，城市事件，城市部件等数据量并不多，安监系统涉及到的企业数量大概3万多个，最多的企业安全检查明细表大概2000多万，这点数据量在我看来，传统架构的mpp数据库完全能够撑得住。所以决定上传统成熟稳定的数据仓库。架构:
在这里插入图片描述