![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 89
码农小诚
分享自己对技术的理解,与大家共同成长
展开
-
Hadoop启蒙-HDFS读写流程
Hadoop-HDFS读写流程简介:HDFS是基于谷歌的"GFS"论文的开源实现的一个分布式文件系统。优点:适合存储大量数据。可以运行在廉价计算机上。易扩展、高容错。缺点:不支持修改,只能追加。小文件过多会降低性能,会导致内存中的元数据量增多,会对mapReduce计算造成影响。一个文件同一时间只能一个客户端操作。NameNode:管理文件元数据,并将元数据保存在内存中,以便对外提供更快速的服务。通过专门的持久化机制保证数据的安全。DataNode:负责存储数据,原创 2021-02-24 16:47:50 · 485 阅读 · 0 评论 -
大数据启蒙:初识大数据
“在古时候,人们用牛来拉重物。当一头牛拉不动一根圆木时,人们从来没有考虑过要想方设法培育出一种更强壮的牛。同理,我们也不该想方设法打造什么超级计算机,而应该千方百计综合利用更多计算机来解决问题。”——Grace Hopper文章目录一、什么是大数据二、谷歌的“三架马车”01、GFS:分布式文件系统02、MapReduce:超大集群数据处理03、BigTable结构化数据的分布式存储系统小结、一、什么是大数据我们先来看一个简单的换算:1字节(Byte)=8位(bit)1KB=1024B.原创 2021-02-24 09:39:44 · 681 阅读 · 0 评论 -
Zookeeper小白必看,建议先从这篇看起
Zookeeper概述前言:本文仅对Zookeeper中的一些基本概念进行讲解,适合对Zookeeper不了解的新人,并不对例如Zookeeper怎么选举,怎么实现分布式锁,写入过程是怎么二阶段提交的,这类细节问题作者将在其他Zookeeper文章中进行讲解。1.什么是zookeeper一个高性能、高可用的开源分布式协调服务,2.Zookeeper能做什么1.统一配置管理、2.统一命名服务、3.分布式锁、4.集群管理。3.Zookeeper的核心3.1文件系统:zookeeper的数据结构类原创 2021-02-19 16:56:34 · 515 阅读 · 0 评论