项目简介
通过大数据技术架构,解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据,基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。
项目介绍及环境构建
1. 项目目标
- 项目1:在线教育
- 学习如何做项目,项目中大数据工程师要负责实现的内容和流程
- 学习数仓基础理论:建模、分层
- 项目2:一站制造
- 企业中项目开发的落地:代码开发
- 代码开发:SQL【DSL + SQL】
- SparkCore
- SparkSQL
- 数仓的一些实际应用:分层体系、建模实现
2. 内容目标
- 项目业务介绍:背景、需求
- 项目技术架构:选型、架构
- 项目环境测试
- **目标**:了解项目应用背景
- **实施**
- **工业**
- 产业分类
- 第一产业:植业、林业、畜牧业、水产养殖业等直接以自然物为生产对象的产业
- 第二产业:工业、建筑业
- 第三产业:交通运输业、通讯产业、商业、餐饮业、金融业、教育产业
- 定义:属于第二产业,指的是采集原料,并把它们加工成产品的工作和过程
- 划分
- 开采业:对自然资源的开采,对采矿、晒盐、森林采伐等
- 加工业:粮油加工、食品加工、 轧花、缫丝、纺织、制革等
- 制造业:炼铁、炼钢、化工生产、 石油加工、机器制造、木材加工等,以及电力、自来水、煤气的生产和供应等
- 机修业:对工业品的修理、翻新,如机器设备的修理、 交通运输工具的修理等
物理网:IOT**(Internet Of Thi