10.大数据架构详解:从数据获取到深度学习 --- 存储是基础

10.1 分久必合,合久必分 
	在计算机发明之初,存储是外置的,如打孔纸袋;后来发明了硬盘,硬盘是装到计算机内部的;硬盘用了一段时间,发现容量不够了,于是又有了SAN存储,放到计算机外部;云计算时代的到来,
又产生了HDFS,通过软件聚合普通服务器内部的硬盘,对外提供统一的存储,以及诞生了所谓的ServerSAN,即软件定义存储。

10.2 存储硬件的发展 
	10.2.1 机械硬盘的工作原理 
	10.2.2 SSD的原理 
	10.2.3 3DXPoint 
	10.2.4 硬件发展小结 

10.3 存储关键指标 
	衡量硬件的性能一般有如下4个指标:
		1.容量
		2.吞吐量
		3.IOPS
		4.响应时间

10.4 RAID技术 
	磁盘阵列(RAID)是指由独立磁盘构成的具有冗余能力的阵列。

10.5 存储接口 
	存储的分类方法有很多种,根据存储所处的位置可分为内置存储和外挂存储。开放系统的外挂存储根据连接方式可以分为直连式存储(DAS)和网络存储(FAS);开放系统的网络化存储根据传输协议
又可以分为网络接入存储(NAS)和存储区域网络(SAN)。
	
	从接口看存储,又分为文件,对象,块,k/v 等经典接口。

	10.5.1 文件接口 
	10.5.2 裸设备 
	10.5.3 对象接口 
	10.5.4 块接口 
	10.5.5 融合是趋势 

10.6 存储加速技术 
	10.6.1 数据组织技术 
		1.Cube
		2.Kylin
		3.ORCFile
		4.Parquet
		5.Google Mesa 数据模型

		2.索引技术 
			索引是关系型数据库的重要概念。总的来说,索引就是拿空间换时间。

	10.6.2 缓存技术

 

 

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值