大数据相关技术
大数据一些理论知识介绍,上下游技术讲解等
问道飞鱼
长期从事java后端开发,架构设计, 解决方案提供, 如有志同道合的朋友可以一起进步, 如果商务合作也可以联系
展开
-
一文教你看懂什么是Hadoop
Hadoop是一个由Apache基金会开发的开源分布式计算框架,主要用于处理海量数据集。HDFS(Hadoop Distributed File System)是Hadoop项目中的核心组件,是一个运行在通用硬件上、提供流式数据操作、能够处理超大数据的分布式文件系统。MapReduce是一种用于大规模数据集并行运算的编程模型、框架和平台,它极大地简化了大规模数据处理的过程。原创 2024-09-27 15:12:28 · 736 阅读 · 0 评论 -
大数据技术栈简要介绍
大数据(Big Data)是IT行业中的一个重要术语,它指的是那些无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。这些数据集合具有海量的数据规模、快速的数据流转、多样的数据类型以及相对较低的价值密度等特征。大数据需要新的处理模式来增强其决策力、洞察发现力和流程优化能力,从而成为具有战略意义的信息资产。数据量角度:大数据首先体现在“大”上,即数据量巨大,通常达到数十TB甚至数百PB的规模,远远超出了传统数据处理软件的能力范围。数据处理角度。原创 2024-09-27 14:03:30 · 272 阅读 · 0 评论