fine_one的博客

一、初始化SELECT ROW_NUMBER() OVER(ORDER BY xxxx_code) AS xxxx_key -- 代理键值,t.*,CAST(CURRENT_TIMESTAMP() AS STRING) AS au_last_update_time -- 更新时间,'1' AS au_active_flag -- 是否有效,'1970-01-01'

本文是对CareDrive项目的总结，记录项目分析与实现过程。主要任务是对MySQL数据库中原始数据通过pandas和numpy聚合、分析，并通过python实现自动更新，以及dashboard的搭建，为业务提供自主分析工具。在公司数据量不断增大的情况下，通过Sqoop抽取数据到hive中聚合数据，再导入MySQL数据库，完成ETL过程。项目预览：一、项目概述及背景介绍CareDrive公司它的产品可以分为三个大类：驾驶安全终端（公司主要产品）、服装、配件。驾驶安全终端又分为三种类型，防碰撞单体