- 博客(3)
- 收藏
- 关注
转载 数据湖01:数据湖是什么?
Azure 的数据湖包括一切使得开发者、数据科学家、分析师能更简单的存储、处理数据的能力,这些能力使得用户可以存储任意规模、任意类型、任意产生速度的数据,并且可以跨平台、跨语言的做所有类型的分析和处理。数据湖通常是企业中全量数据的单一存储。但是在计划构建数据湖之前,搞清楚什么是数据湖,明确一个数据湖项目的基本组成,进而设计数据湖的基本架构,对于数据湖的构建至关重要。数据湖需要具备完善的数据管理能力(完善的元数据),可以管理各类数据相关的要素,包括数据源、数据格式、连接信息、数据 schema、权限管理等。
2022-12-21 11:35:47 220
转载 数据湖基础
数据湖的主要思想是对企业中的所有数据进行统一存储,从原始数据(源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的目标数据。数据湖中的数据包括结构化数据(关系数据库数据),半结构化数据(CSV、XML、JSON等),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像、音频、视频),从而形成一个容纳所有形式数据的集中式数据存储。数据湖10:新型大数据解决方案,数据湖如何建设?数据湖02:数据湖有哪些特征。数据湖04:数据湖技术架构演进。数据湖05:从数据仓库看数据湖。
2022-12-20 15:19:22 297
转载 Spark SQL 函数操作
Spark 内置函数使用Spark SQL中的内置函数对数据进行分析,Spark SQL API不同的是,DataFrame中的内置函数操作的结果是返回一个Column对象,而DataFrame天生就是”A distributed collection of data organized into named columns.”,这就为数据的复杂分析建立了坚实的基础并提供了极大的方便性
2017-06-10 10:00:49 743
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人