大数据建立模型过程

最近没有更新博客,是因为一直在思考自己的职业方向,作为一个工作已经快三年的java开发工程师来说,java的技术应该是非常优秀的。而我则不然,因为我在此期间做了大概有一年的数据处理。
根据这一年所做的事情想要做个小总结,总觉得以后的工作中会用到的。
1.首先根据需求进行制作星型图(需求中会给出查询条件以及查询结果)
根据需求建立的星型图 主要分为事实表以及其他的维度表(事实表就是主表,主表里面包含查询的结果以及与其他维度表相关联的外键)
下图为一个星型图:

2.在Oracle中根据星型图建表
3.要根据需求所用的数据
4.数据接收过来之后对数据进行etl操作(etl操作:数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load))
5.然后将处理完的数据导入到oracle中。
如果是直接使用oracle作为导入数据的工具,那么在BI分析中改下驱动即可。
如果想要使用KYLIN,那么将oracle中的表结构以及数据导入到hive中,并在hive中进行处理。导入到Cube当中即可。

上面是我的见解,还请各位大神多多指教。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值