![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Apache Hadoop知识梳理
我只想摸鱼啊
这个作者很懒,什么都没留下…
展开
-
hadoop-介绍
hadoop的简介1. 出现背景2. 核心组件2.1 Hadoop Common2.2 Hadoop Distributed File System(HDFS)2.3 Hadoop YARN2.4 Hadoop MapReduce2.5 Hadoop Ozone 1. 出现背景 hadoop最早是为了解决大量网页的存储和索引问题。其原理来源于google发表的三篇论文,GFS、MapReduce和BigTable。 主要是为了解决海量数据的存储与计算。 2. 核心组件 详细介绍见hadoop官网(ht原创 2020-05-28 10:03:12 · 288 阅读 · 0 评论 -
hadoop-伪分布式部署
hadoop伪分布式部署1. hdfs的部署2. yarn的部署 版本: hadoop3.x。 hadoop有三种运行方式: 单机模式、伪分布式模式、完全分布式模式。由于只有一台服务器,所以采用了伪分布式的部署方式。 1. hdfs的部署 从官网下载hadoop压缩包,上传到服务器并解压。 服务器配置免密登录。使用 ssh localhost 测试是否配置成功。 修改hadoop-env.sh。 vim etc/hadoop/hadoop-env.sh # 添加以下配置 ------------原创 2020-05-27 18:51:30 · 425 阅读 · 1 评论