Google思想一(GFS - Google File System)

本文探讨了Google的分布式文件系统GFS,解释了其如何通过数据分块、冗余存储和机架感知策略保证数据的安全性和可用性。同时介绍了倒排索引的概念,以提高数据检索效率。
摘要由CSDN通过智能技术生成

思考1:Google 搜索引擎每天要从世界各地抓取数以亿计的网页,数据都存储在哪里呢?

GFS:使用大量廉价的去掉硬盘的 PC 机构成集群,将数据都存储在服务器的内存中,采用分布式的文件系统进行存储。

思考2:内存中的数据掉电会丢失,怎么保证可靠呢?

在世界各地进行部署,部分地区还配有发电厂。

当然,不是所有的公司都像 Google 一样技术牛X,有钱,数据都存内存里面。我们的数据主要还是存储在硬盘中的,但是思路还是采用分布式的思想。

什么是分布式文件系统?

思考3:为什么要用分布式文件系统?分布式文件系统解决了什么问题?

分布式文件系统解决了数据的存储问题。

在没有使用分布式的文件系统时,数据存储可能遇到的问题有:

  1. 硬盘不够大,容纳不了我们要存储的数据。
    解决:多几个硬盘。
    在这里插入图片描述

  2. 要存储的数据非常大,一下把数据全部存入硬盘,中途断电了,部分数据不就丢失了吗,怎么办?
    解决:将数据分块,按数据块的大小进行存储。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值