数据湖存储与查询

AI天才研究院

已于 2023-08-16 20:37:05 修改

阅读量1.1k

点赞数 3

分类专栏：大数据AI人工智能深度学习实战文章标签：自然语言处理人工智能语言模型编程实践开发语言架构设计

于 2023-08-16 10:14:10 首次发布

本文链接：https://blog.csdn.net/universsky2015/article/details/132313548

版权

大数据AI人工智能同时被 2 个专栏收录

该专栏为热销专栏榜第89名

25984 篇文章 1006 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

深度学习实战

3607 篇文章 3 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了数据湖的概念，以及与之相关的技术，包括Hadoop、Hive、Impala、Druid和Spark SQL。重点阐述了这些技术在数据存储、查询、处理和分析中的作用，提供操作步骤和实例，帮助理解如何在HDFS上实现数据存储和查询，以及使用Hive创建表并加载数据。

摘要由CSDN通过智能技术生成

作者：禅与计算机程序设计艺术

1.简介

数据湖（Data Lake）由大量非结构化、半结构化、非时序的数据汇总而成，具有海量数据的价值。数据湖存储与查询是企业利用大数据进行决策支持的一项重要功能。数据湖存储与查询可将非结构、半结构、非时序的数据在HDFS（Hadoop Distributed File System）上存储和查询，通过SQL或MapReduce的方式对数据进行分析，从而获得业务价值。本文主要介绍数据湖存储与查询的相关知识和技术。

2.基本概念术语说明

2.1 Hadoop

Hadoop是一个开源的框架，用于分布式计算和存储。它提供高容错性、高可靠性、可扩展性的存储，并可以运行MapReduce任务处理海量的数据集。Hadoop分为HDFS（Hadoop Distributed File System）和MapReduce两个模块，HDFS负责存储海量的数据，而MapReduce则用于分布式计算。