![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据处理
wuli洛玖
这个作者很懒,什么都没留下…
展开
-
交通路网数据自动化ETL项目介绍
交通路网数据自动化ETL项目介绍 这是最近一年内一直没有脱手的一个项目。只是最近有了一定的想法心得,在此记录一下。 项目概述 交通路网数据自动化ETL项目主要为了方便路网可视化部分提取所需要的数据。 最初的数据是从各个厂商的摄像头传入的,然后由另一个公司(合作伙伴)将最初的数据传入kafka中,然后再由kafka传入impala中。 我所做的工作便是从impala中定期提取数据到数据库中,并且对...原创 2018-09-27 19:48:58 · 873 阅读 · 2 评论 -
sqoop数据ETL工具初探
研究背景 最近实习项目需要使用到kylin建立数据立方体,kylin是一个基于hive的OLAP系统,主要功能是可以通过预计算的方式将存储在hdfs上的文件设定为多维立方体缓存到HBase中,将需要的查询结果作为数据立方体预先存储在hbase中,是一种以空间换时间的快速查询方法。 甲方公司目前使用的是mysql存储数据,并且数据会定期删除。目前需要考虑使用工具将mysql中的数据导入到Hive中,...原创 2019-05-21 16:36:14 · 1019 阅读 · 0 评论