Hadoop学习笔记（一）初识Hadoop

王知无(import_bigdata)

已于 2022-03-12 14:18:52 修改

阅读量718

点赞数

文章标签： hadoop 学习 big data

于 2019-04-04 21:55:34 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/89036134

版权

Hadoop进阶学习专栏同时被 2 个专栏收录

30 篇文章 4 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据成神之路

254 篇文章 157 订阅

订阅专栏

本文是Hadoop学习笔记的第一部分，介绍了Hadoop作为开源的、可靠的、可扩展的分布式计算软件。主要内容包括Hadoop的分布式文件系统HDFS、资源调度系统YARN以及MapReduce框架。Hadoop具有高扩展性和容错性，适用于大数据存储和离线处理。文章还探讨了HDFS的多副本存储机制和YARN的资源管理调度功能。

摘要由CSDN通过智能技术生成

前言
研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。

hadoop介绍
关于hadoop 最好的介绍莫过于官网的文档，hadoop的官网如下，

http://hadoop.apache.org

我们一句一句来看看hadoop官网是怎么介绍的。

The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.

这段话说hadoop是一个开源的软件，并且是可靠性的(reliable)、可扩展性的(scalable)、分布式计算的(distributed computing)软件。这三个特点我们后面会进行详细解释。

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather t