![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 80
笨蛋程序员
这个作者很懒,什么都没留下…
展开
-
Hadoop 笔记(五)配置历史服务器
之前的文章讲过 Hadoop 安装 和配置,并且运行 wordcount 程序。本问主要配置历史服务器和日志服务器,用于查看程序运行的历史信息和日志信息。配置历史服务器历史服务器可以查看任务运行的历史。配置 mapred-site.xml在 etc/hadoop/mapred-site.xml 文件中添加下面这两个属性。<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</n原创 2022-04-11 12:31:30 · 2053 阅读 · 0 评论 -
Hadoop 笔记(四)运行一个程序
之前的几篇文章介绍了 Hadoop 安装 与配置,以及 HDFS、Map Reduce 和 YARN 的体系架构。本文则创建并完成一个项目。Hadoop 不适合做时延要求较高的项目,但适合做吞吐量比较大的工作。原创 2022-04-11 10:38:31 · 1810 阅读 · 0 评论 -
Hadoop 笔记(二) YARN 体系结构
YARN 式分布式操作系统,其基本功能就是管理整个集群的计算资源,提供用户程序访问系统资源的 API。体系架构MapReduce v1 中的 JobTracker 两大功能——资源管理和任务调度,拆分为 ResourceManager 和 ApplicationMaster,前者负责资源管理,后者负责任务管理。而 TaskTracker 发展为 NodeManager,用来管理本机资源。ResourceManager 和从属节点的进程 NodeManager 组成了 Hadoop 2.0 的分布式数据原创 2022-04-05 19:04:15 · 1360 阅读 · 0 评论 -
Hadoop 笔记(三)运行模型及配置
Hadoop 有 3 种运行模式,分别是单机模式、伪分布式模式、完全分布式模式。目录单机模式伪分布式模式配置格式化文件系统完全分布模式配置主节点配置从节点格式化文件系统单机模式这篇文章中讲解了 Hadoop 的安装和环境设置。当安装完成后,Hadoop 就是默认的单机模式。在该模式下使用的是本地文件系统,而不是分布式文件系统,Hadoop 不会启动守护进程,不用修改配置文件,避免了复杂的配置工作,用于对 MapReduce 程序逻辑进行调试。伪分布式模式用一台主机模拟多台主机的运行环境。每个守护进原创 2022-04-05 16:47:28 · 1997 阅读 · 0 评论 -
Hadoop 笔记(一) HDFS 和 MapReduce 体系结构
Hadoop 2.0 包含 Common、HDFS、Yarn 和 MapReduce 四个模块,Common 主要为其它模块提供服务,MapReduce 其实是 Yarn 模块里的一种编程方式,实际对外提供服务的只有 HDFS 和 Yarn。目录CommonHDFS特点体系架构CommonCommon是其它模块的公共接口,提供公用API。它还提供了 mini 集群、本地库、超级用户、服务器认证和 HTTP 认证等功能。HDFSHDFS 是 Hadoop 文件系统,提供了高容错、高扩展、高可靠的分原创 2022-04-04 18:47:31 · 1545 阅读 · 0 评论 -
Hadoop 笔记(〇)安装
创建 Hadoop 运行环境,安装 Hadoop。原创 2022-04-04 10:18:14 · 1608 阅读 · 0 评论