haoop的相关介绍及概念

本文介绍了Hadoop,一个基于Lucene创始人Doug Cutting的分布式文件系统和分析框架,受到Google MapReduce和GFS的启发。Hadoop核心包括HDFS和MapReduce,提供高容错性、高效性和可伸缩性的数据处理。它能在廉价硬件上运行,并支持PB级数据处理。文章还讨论了Hadoop的集群优点,如容错性和高吞吐量,以及相关概念,如分布式存储、命名空间、主从节点和Block。
摘要由CSDN通过智能技术生成

前言

cluster:集群

LB:负载均衡
LVS SLB HAPROXY,nginx

HA:高可用
MHA,keepalived,hearebeat

HPC:
Hadoop:
大批量的计算辅助存储和运算
什么是分布式: 分散的

hadoop介绍

Hadoop 是 Lucene 创始人 Doug Cutting,根据 Google 的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统,其中包含 MapReduce 程序,hdfs 系统等![它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。]

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

互联网老辛

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值