关于物流项目面试可能会被问到的20题总结

AIMaynor

已于 2022-05-12 22:25:45 修改

阅读量1.3k

点赞数 1

分类专栏： # 大数据物流项目文章标签：数据库 big data java

于 2022-05-12 19:47:01 首次发布

本文链接：https://blog.csdn.net/xianyu120/article/details/124737720

版权

大数据物流项目专栏收录该内容

27 篇文章 7 订阅 ¥69.90 ¥99.00

订阅专栏

本文介绍了运满满智慧物流大数据平台项目，涉及数据采集、存储、分析等多个方面。项目采用Spark2.4、Impala3.2、Kudu1.9、ClickHouse0.22等技术，实现数据的实时和离线处理。通过数仓分层、拉链表等模型优化数据管理，解决数据倾斜、性能优化等问题。项目中，Kafka用于数据流转，Elasticsearch和ClickHouse提供实时查询服务，Impala进行即席分析，有效提高了物流效率和数据分析能力。

摘要由CSDN通过智能技术生成

文章目录

1.简单介绍一下该项目

在这里插入图片描述
项目背景：
运满满智慧物流大数据平台项目主要围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据、信息等，通过大数据分析可以提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,实现快速、高效、经济的物流,并针对数据分析结果,提出具有中观指导意义的解决方案。
满足三大需求：
1.传统数据库面临计算和存储瓶颈，转移到大数据平台；提供能够交互式查询的接口。
2.对于运营：实时统计各项经营指标，实时的可视化监控。
3.对于用户：实时查询订单的功能。
技术架构：Spark2.4+Impala3.2+Kudu1.9+ClickHouse0.22+Mysql5.7+Kafka2.1+Oracle11g+Canal1.1.2+CDH6.2. 1+SpringCloud
项目参与：
1、参与 OGG 及 Canal 增量抽取的数据会写入到 Kafka 集群，供实时分析计算程序消费。
2、参与 StudturedStreaming 流式处理系统将数据 ETL 处理后，将数据写入到 El