大数据、数据仓库、数据湖、ELT和ETL、数据集成

最新推荐文章于 2024-07-23 14:11:12 发布

潇洒$¥半仙

最新推荐文章于 2024-07-23 14:11:12 发布

阅读量3.1k

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/qq_53072870/article/details/121534545

版权

大数据是指对传统处理工具来说过于庞大和复杂的数据集，涉及商业智能、创新和成本降低。大数据的五大特征是量、多样性、速度、真实性及价值。数据仓库是用于决策的业务数据集合，提供更好的数据质量和快速决策，但不同于数据库、数据湖和数据集市。数据湖是一种原始格式存储大数据的中央仓库，允许灵活分析。ELT（提取、加载、转换）是大数据处理的一种方法，尤其在速度和可扩展性方面优于ETL。云数据湖提供了更高的灵活性和成本效益，但需要克服安全和治理挑战。数据集成是将不同来源数据整合成统一视图的过程，对于企业效率和商业智能至关重要。

摘要由CSDN通过智能技术生成

什么是大数据？免费指南和定义

知识中心»
数据整合»
什么是大数据？免费指南和定义……

“大数据”一词在过去十年中开始出现在词典中，但这个概念本身至少从二战开始就已经存在。最近，无线连接、互联网 2.0 和其他技术使对海量数据集的管理和分析成为我们所有人的现实。

大数据是指对于传统的数据处理和数据管理应用来说过于庞大和复杂的数据集。随着移动技术和物联网的出现，大数据变得越来越流行，因为人们使用他们的设备产生越来越多的数据。考虑由地理定位服务、网络浏览器历史记录、社交媒体活动甚至健身应用程序生成的数据。

该术语还可以指收集和分析大量数字信息以生成商业智能的过程。随着数据集的不断增长，应用程序产生更多的实时流数据，企业正在转向云来存储、管理和分析他们的大数据。

了解 Talend 如何帮助电子商务巨头 OTTO利用大数据与亚马逊竞争。

是什么让大数据如此重要？

消费者生活在一个即时期望的数字世界中。从数字销售交易到营销反馈和改进，当今基于云的商业世界中的一切都在快速发展。所有这些快速交易都以同样的速度生成和编译数据。实时充分利用这些信息通常意味着利用信息获取目标受众的 360 度全景，或将客户流失给这样做的竞争对手之间的区别。

管理和利用数据操作的可能性（和潜在的陷阱）是无穷无尽的。以下是大数据可以改变组织的一些最重要的方式：

商业智能

商业智能旨在描述大数据的摄取、分析和应用以造福组织，是争夺现代市场的关键武器。通过绘制和预测活动和挑战点，商业智能让组织的大数据代表其产品发挥作用。

创新

通过分析行业和市场中发生的无数交互、模式和异常现象的潜望镜级别视图，大数据被用于将新的、有创意的产品和工具推向市场。想象一下，“Acme Widget Company”查看其大数据图并发现，在温暖的天气中，Widget B 在中西部的销量几乎是 Widget A 的两倍，而在西海岸和南部的销量保持不变。Acme 可以开发一种营销工具，通过独特的广告来推动针对中西部市场的社交媒体活动，突出 Widget B 的受欢迎程度和即时可用性。通过这种方式，Acme 可以将其大数据用于新的或定制的产品和广告，从而最大限度地提高利润潜在的。

降低拥有成本

如果节省一分钱就是赚一分钱，那么大数据带来了赚大钱的潜力。IT 专业人员不是通过设备的价格标签来衡量运营，而是根据各种因素来衡量运营，包括年度合同、许可和人员开销。从大数据运营中挖掘出的洞察力可以快速明确资源在哪些方面未得到充分利用以及哪些领域需要更多关注。这些信息一起使管理人员能够保持足够灵活的预算以在现代环境中运作。

几乎每个行业的组织和品牌都在使用大数据开辟新天地。航运公司依靠它来计算运输时间和设定费率。大数据是开创性科学和医学研究的支柱，带来前所未有的分析和研究能力。它影响着我们每天的生活方式。

大数据的五个V（+1）

大数据通常由行业专家通过 5 V 进行限定，每一个都应该单独处理，并考虑它与其他部分的交互方式。

量- 为将要使用的数据量制定计划，以及如何以及在何处存储这些数据。

多样性- 识别生态系统中所有不同的数据来源，并获得正确的工具来摄取它。

速度- 同样，速度在现代商业中至关重要。研究和部署正确的技术，以确保尽可能接近实时地开发大数据图片。

真实性- 垃圾进，垃圾出，所以要确保数据准确和干净。

价值- 并非所有收集的环境信息都同等重要，因此构建一个大数据环境，以易于理解的方式呈现可操作的商业智能。

我们想再添加一个：

美德——大数据使用的道德问题也需要根据数据隐私和合规的所有法规来解决。

了解 Talend 如何帮助企业 降低集成大数据的成本。

分析、数据仓库和数据湖

大数据实际上是关于新用例和新见解，而不是数据本身。大数据分析是检查非常大的细粒度数据集以发现隐藏模式、未知相关性、市场趋势、客户偏好和新业务洞察力的过程。人们现在可以提出传统数据仓库无法解决的问题，因为它只能存储聚合数据。

Imagine for a minute looking at a painting of Mona Lisa and only seeing big pixels. This is the view you’re getting from customers in a data warehouse. In order to get the fine-grained view of your customers, you’d need to store fine, granular, nano-level data about these customers and use big data analytics like data mining or machine learning to see the fine-grained portrait.

数据湖是一个中央存储库，它以原始的粒度格式保存来自许多来源的大数据。它可以存储结构化、半结构化或非结构化数据，这意味着数据可以以更灵活的格式保存以备将来使用。存储数据时，数据湖会将其与标识符和元数据标签相关联，以加快检索速度。数据科学家可以使用数据湖更快、更准确地访问、准备和分析数据。对于分析专家来说，这个庞大的数据池（以各种非传统格式提供）提供了独特的机会来访问各种用例的数据，例如情绪分析或欺诈检测。

了解数据湖和数据仓库之间的差异。