初识Hadoop简要概述

第一章

大数据一般是指数量达到10T以上的数据,且具有4V特性。
在这里插入图片描述
Google三大思想
在这里插入图片描述
Google思想一:GFS
管理节点管理存放数据的主机,存放数据的主机叫数据节点,上传的数据按数据的大小进行分块,数据块冗余度默认为3。文件元信息保存在管理节点。
在这里插入图片描述
服务器由Master主节点(主人,管理节点)和多个ChunkSever(存储节点)组成,ChunkSever是实际数据存储的位置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Google思想二:MapReduce
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Google思想三:BigTable
思想是:把所有的数据存入一张表,牺牲空间换取时间,虽然造成数据冗余但提高系统性能
在这里插入图片描述
在这里插入图片描述
Tablet:n片剂,药片,平板电脑,匾,碑
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Hadoop小节
在这里插入图片描述
在这里插入图片描述
HDFS对GFS的实现
在这里插入图片描述
在这里插入图片描述
机架感知与副本位置选择策略在第三章细讲。
在这里插入图片描述
***Hadoop的MapReduce实现Google的MapReduce***在第五章重点讲解
在这里插入图片描述
HBase实现BigTable
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问题

1.GFS是用于存储的,而BigTable是数据库也是用于存储的,那么它们之间有什么联系和区别呢?
HDFS是GFS的一种实现,他的完整名字是分布式文件系统,类似于FAT32,NTFS,是一种文件格式,是底层的,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。
HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统。
在这里插入图片描述
2.edits文件与fsimage文件,哪个文件夹体现了HDFS的最新状态?
HDFS镜像文件fsimage和编辑日志文件edits
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值