ETL学习笔记之二:ETL与BI

    ETL为数据仓库服务,数据仓库用于数据分析,数据分析属于BI系统的要干的事儿。


    一般中/小型ERP系统都会有不成熟的BI系统,为啥叫做不成熟?
    因为它们或者有报表分析功能,但不具有OLAP(在线分析),或者有OLAP,但却没有数据挖掘和深度分析。或者干脆,来个大集成,直接利用第三方工具来达到相应的目的。
    为什么会这样,究其原因,很多情况是因为没有自主的数据仓库,没有数据仓库,其它的做起来也就有些四不象了。而要建立数据仓库,首要的是:ETL。
    于是,需求就应运而生了。

    对了,BI是什么?OLAP是啥?什么又是数据挖掘?鉴于我只能解释其表面含义,我就不多说了。各位不妨找本数据仓库的书,翻翻前几页,一般就明白了。或者Google一把。

    我们捡当下最流行的BI应用:OLAP来说说它与ETL的关系。
    了解OLAP的人都知道,它的分析模型由事实表和维表组成。但往往OLTP系统中的数据库是为事务而建,而并不为分析而建,而为了BI去改动OLTP数据库是不现实,并且,很多情况下也基本上是不可能的(当然,有些公司把不可能的任务变成可能的,但这显然是一种很僵硬的做法)。
    这时候,ETL的作用就显出来了,它可以为OLAP服务,按业务主题提取分析模型进行数据抽取。
    (OLAP分析需要什么样的数据支持?可以参看一下OLAP的星型模型)。

    再说说数据挖掘:
    这个课题实在太大,相关的书藉有很多很多,我还得花时间慢慢去学习。简单的说,这涉及ERP业务和统计学的知识。现在我暂时还没开始相关学习,但它与ETL的关系却很明显。因为数据挖掘所要求的数据大都是高聚合的已处理的数据,所以,不管从获取难度和效率上来说,都不适合直接从OLTP中获取。
    同样,需要ETL来帮忙。

    因此,按本人粗浅的理解:
    ETL实在是: BI系统 设计开发,项目实施 之必备良药!

    有句名言讲得好:成为巨人不如站在巨人的肩膀上。
    如果想对ETL有详尽的了解,不妨先了解一下现有流行的ETL工具。 

  • 0
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
回答: 如果你想成为一名ETL工程师,以下是一个学习计划的建议: 1. 学习数据库知识: ETL工程师需要对数据库有深入的了解,包括SQL语言、数据库设计和优化等方面。你可以通过学习相关的教材、参加培训课程或者在线学习平台来提升自己的数据库知识。 2. 掌握ETL工具: ETL工程师需要熟悉常用的ETL工具,比如Informatica、DataStage、SSIS等。你可以通过阅读官方文档、参加培训课程或者实际项目经验来掌握这些工具的使用。 3. 理解业务需求: ETL工程师需要对业务数据有深入的了解,能够理解业务需求并将其转化为ETL工作流的设计。你可以通过与业务部门的合作、参与项目实施等方式来提升自己的业务理解能力。 4. 学习数据仓库设计: 数据仓库ETL工程师的核心工作之一,你需要学习数据仓库的设计原理、维度建模等知识。可以通过阅读相关的书籍、参加培训课程或者实际项目经验来提升自己的数据仓库设计能力。 5. 实践项目经验: 除了理论知识,实际项目经验对于成为一名优秀的ETL工程师也非常重要。你可以通过参与实际项目、做一些个人的小项目或者参加一些开源项目来积累实践经验。 总之,成为一名优秀的ETL工程师需要综合的技术能力和业务理解能力。通过学习数据库知识、掌握ETL工具、理解业务需求、学习数据仓库设计和积累实践经验,你可以逐步提升自己的能力,并成为一名出色的ETL工程师。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [ETL工作经验分享(1)](https://blog.csdn.net/weixin_39408986/article/details/106750488)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [大数据测试之ETL测试入门](https://blog.csdn.net/lyy51/article/details/122002610)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值