Hadoop
太和վ'ᴗ' ի
这个作者很懒,什么都没留下…
展开
-
分布式文件系统HDFS
1.1简介 HDFS实现目标 兼容廉价的硬件设备 实现流数据读写 支持大数据集 支持简单的文件模型 强大的跨平台兼容性 HDFS自身的局限性 不适合低延迟数据访问 无法高效存储大量小文件 不支持多用户写入及任意修改文件 2.1概念 块的概念 支持面向大规模数据存储 降低分布式节点的寻址开销 HDFS采用这种抽象的块的概念设计好处 1.支持大规模文件存储:原创 2018-01-07 01:21:04 · 8767 阅读 · 0 评论 -
分布式数据库HBase
1.概述 1.1.1 从BigTable说起 BigTable是一个分布式存储系统 BigTable起初用于解决典型的互联网搜索问题 • 建立互联网索引 1 爬虫持续不断地抓取新页面,这些页面每页一行地存储到BigTable里 2 MapReduce计算作业运行在整张表上,生成索引,为网络搜索应用做准备 • 搜索互联网 3 用户发起网络搜索请求 4 网络搜索应用查询建立好的索原创 2018-01-14 16:45:24 · 2435 阅读 · 0 评论