大数据
HPeak
这个作者很懒,什么都没留下…
展开
-
初识大数据BigData(笔记2)
分布式文件系统HDFS简介 文件系统结构: HDFS实现目标: 兼容廉价的硬件设备 实现流数据读写 支持大数据集 支持简单的文件模型 强大的跨平台兼容性 HDFS自身的局限性: 1.不适合低延迟数据访问 2. 无法高效存储大量小文件 3. 不支持多用户写入及任意修改文件 HDFS两大组件: 名称节点(Namenode) 其中名称节点包括FsImage(保存系统文件树)和EditLog(记录...原创 2020-05-08 00:49:21 · 296 阅读 · 0 评论 -
初识大数据BigData(笔记1)
基础知识: 大数据的关键技术(两大核心技术): 1:分布式存储 2:分布式处理 电典型的计算模式: 1:批处理计算 2:流计算 3:图计算 4:查询分析计算 三种云服务: 1:IaaS,基础设施即服务,面向网络架构师 2:PaaS,平台即服务,面向应用开发者 3:SaaS,软件即服务,面向用户 物联网的关键技术: 1:识别技术 2:感知技术 大数据处理架构Hadoop Hadoop是Java语言开...原创 2019-04-16 20:41:14 · 484 阅读 · 0 评论