![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【Hadoop】
RobertLab
全栈不是一个岗位,而是一种思维。
展开
-
二、Hadoop之常用命令
二、Hadoop之常用命令参考文档:Hadoop2.9.1Hadoop3.1.1一、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来原创 2020-05-29 21:56:44 · 246 阅读 · 0 评论 -
一、Hadoop简介
一、Hadoop简介Hadoop主要包括下面四个模块Hadoop Common:一些公共类Hadoop Distributed File System:分布式文件存储系统Hadoop YARN:Job与集群资源的管理Hadoop MapReduce:基于YARN的系统,并行处理大数据集合;官网截图如下:hive:将mr程序封装成sql使用,学习成本低;后续用于构建data warehouse;habse:分布式数据库spark:在线计算,效率比mr高,但I原创 2020-05-29 21:51:18 · 234 阅读 · 0 评论