![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
believer-zzm
这个作者很懒,什么都没留下…
展开
-
Hadoop 部署及管理
Hadoop 部署及管理 一、Hadoop优点 高可靠性 Hadoop 按位存储和处理数据的能力值得人们信赖。 高扩展性 Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。 高效性 Hadoop 能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。 高容错性 Hadoop 能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。 低成本 与一体机、商用数据仓库以及 QlikView、Yonghong Z原创 2020-09-01 11:59:56 · 650 阅读 · 0 评论 -
Zookeeper分布式协调服务
目录Zookeeper分布式协调服务一、下载Hadoop和Zookeeper(cdh版本)二、环境准备2.1、时钟周期2.2、如何搭建时间服务器2.2.1、首先查看一下机器的时间2.2.2、修改时间标准2.2.3、配置NTP服务器2.2.4、配置其他机器的定时时间同步2.3、关闭防火墙2.4、集群节点SSH免登录密码2.4.1、生成秘钥(三个节点都要操作)2.4.2、进入生成秘钥文件夹(三个节点都...原创 2020-04-18 21:50:34 · 283 阅读 · 0 评论 -
YARN资源调度框架
目录YARN资源调度框架一、YARN是什么二、YARN的资源调度器 YARN资源调度框架 一、YARN是什么 Apache Hadoop YARN,是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,Yarn可看做是一个集群的操作系统。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 二、YARN的资源调度器 待完善… ...原创 2020-04-16 14:22:12 · 153 阅读 · 0 评论 -
MapReduce分布式计算架构
目录MapReduce分布式计算架构一、快速编写简单的wordcount案例1.1、下载mapreduce测试所需要的jar1.2、pom.xml1.3、Mapper代码1.4、Reduce代码1.5、主函数二、字谜案例2.1、Mapper编写2.2、Mapper测试2.3、Reduce编写2.4、Reduce测试2.5、MapReduce测试2.6、主函数编写 MapReduce分布式计算架构 ...原创 2020-04-16 13:45:22 · 327 阅读 · 0 评论 -
Hadoop软件集群部署
目录Hadoop软件集群部署一、用户、用户组的创建及sudo权限的配置1.1、用户相关操作1.1.1、用户的添加1.1.2、用户的切换1.1.3、用户的删除1.2、用户组相关操作1.2.1、用户组的添加1.2.2、用户组的删除1.3、sudo权限配置1.3.1、用户配置sudo权限二、虚拟主机名的配置2.1、查看虚拟主机名2.2、修改主机名(临时,重启后无效)2.3、修改主机名(永久性)2.3.1...原创 2020-04-13 19:17:46 · 190 阅读 · 0 评论