大数据毕业设计hadoop+spark+hive汽车推荐系统

数据仓库是为企业提供数据支持，用以协助企业制定决策、改进业务流程和提高产品质量等方
面的工具。它可以接收多种类型的输入数据，如业务数据、日志数据和爬虫数据等。然而，在本项
目中，我们对日志数据进行统计和分析。具体而言，我们将主要关注汽车行驶过程中传感器数据这
一特定类型的日志数据，它记录了汽车在运行过程中各个传感器的使用情况以及相关数据。这些数
据对于我们改进汽车性能、诊断问题以及分析驾驶行为等都非常重要。新能源汽车数仓项目共分三
大部分：数仓采集环境搭建、数仓分层计算、 FineBI 可视化大屏展示。项目的核心内容为汽车行驶
连续日志的数据分析，采用了数仓模型拆解业务及特定模型构建的形式，完成需求指标的分析计算。
通过在校学习的专业知识包括数据可视化、数据分析、数据爬取、数据处理、数据存储等相关
知识的结合实现对新能源汽车数仓的分析计算，数仓采集环境搭建、数仓分层计算、FineBL 可视
化大屏展示。
项目的核心内容汽车行驶连续日志的数据分析，采用了数仓模型拆解业务及特定模型构建的形
式，完成需求指标的分析计算。项目从 0 到 1 完成数仓框架环境搭建、数仓建模分析，以及最终数
据的可视化展示，了解数仓建模理论体系及实际应用，并为连续的日志分析提供了有效解决方法。
项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、DolphinScheduler、Datax、FineBI、
ZooKeeper 等。技术选型主要考虑因素有数据量大小、业务需求、行业内经验、技术成熟度等。主
要有数据采集传输、数据计算、数据查询、任务调度、集群监控、元数据管理、权限管理等。
主要处理的是车辆日志数据，即车辆在行驶过程中每 30 秒发送的车辆自身状态的记录。除了
日志数据之外，我们还需要处理车辆维度数据，这些数据存储在数据库中。车辆日志数据对于我们
分析和预测车辆性能、维护需求和问题诊断等方面至关重要。而车辆维度数据则提供了有关车辆的
其他信息，如生产日期、品牌和型号等，这些信息可以帮助我们更好地理解车辆的性能和特性。在
本次数据处理中，我们将同时处理这两类数据车辆日志数据，车辆维度数据。我们将主要关注汽车
行驶过程中传感器数据这一特定类型的日志数据，它记录了汽车在运行过程中各个传感器的使用情
况以及相关数据。这些数据对于我们改进汽车性能、诊断问题以及分析驾驶行为等都非常重要。
  通过此次设计将会充分的了解新能源汽车数仓，在项目中所运用到的知识能够充分的与在校期
间所学的专业技术相结合，例如数据采集传输、数据计算、数据可视化分析、数据库存储、数据处
理等。通过网上查询、查阅文献、咨询老师同学等多方面了解，提高分析问题和解决问题的综合能
力，更好的学会如何构建项目，在今后工作中能够奠定一定的基础并发挥重要作用。在此项目中可
以学习多个框架，列如 Hadoop、Hive、Spark、Kafka、Flume、DolphinScheduler、Datax、FineBI、
ZooKeeper 等。进一步补充新的知识和技能，从而学会综合运用知识，在解决实际问题的过程中锻
炼自己的实际应用能力，提高自己的动手操作能力。新能源汽车指的是采用非常规汽油或柴油作为
动力来源的新型汽车。在动力控制和驱动方面采用先进技术的新结构的汽车，一般分为纯电动汽车，
混动汽车和新型燃料汽车等。数据仓库是为企业提供数据支持，用以协助企业制定决策、改进业务
流程和提高产品质量等方面的工具。它通过对大量数据进行实时采集、处理、存储和分析，将最新
的数据及时地整合到数据仓库中，并且可以实时响应用户的查询和分析需求。数仓不仅可以提高数
据处理的效率和准确性，还可以帮助企业更好地了解市场和用户需求，优化业务流程，提升竞争力。
它可以接收多种类型的输入数据，如业务数据、日志数据和爬虫数据等。然而，在本项目中，我们
对日志数据进行统计和分析。具体而言，我们将主要关注汽车行驶过程中传感器数据这一特定类型
的日志数据，它记录了汽车在运行过程中各个传感器的使用情况以及相关数据。这些数据对于我们
改进汽车性能、诊断问题以及分析驾驶行为等都非常重要