大数据
关注
分享
扫一扫
文章平均质量分 91
Dontla
Life is short, I use AI.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Ingestion服务介绍（数据摄取服务，把外部系统的数据导入到内部数据系统中）（Batch Ingestion批处理摄取、Streaming Ingestion实时摄取）
（数据摄取服务）是数据平台或数据管道（Data Pipeline）中的一个核心组件，用来，例如数据湖、数据库、搜索引擎或机器学习平台。在和架构中，Ingestion 通常是。原创 2026-03-09 18:09:48 · 358 阅读 · 0 评论 -
Spark技术介绍（一个快速、通用的分布式计算框架，专为大规模数据处理而设计。通过内存计算和高效的DAG有向无环图执行引擎，显著提升数据处理速度，并支持多种计算模式（如批处理、流处理、机器学习等））
Apache Spark 凭借其高速内存计算、统一的编程模型和丰富的生态系统，已成为大数据处理领域的核心工具。无论是批处理、实时分析还是机器学习，Spark 都能提供高效、灵活的解决方案，广泛应用于金融、电商、物联网等领域。原创 2025-08-11 15:11:24 · 1078 阅读 · 0 评论 -
分布式（distributed）是什么意思？
分布式计算是计算机科学中一个研究方向，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给多个计算机进行处理，最后把这些计算结果综合起来得到最终的结果。参考文章：分布式 （计算机的一种算法）...原创 2020-02-11 11:19:05 · 2209 阅读 · 0 评论