![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 94
远方的旅行者
随心记录
展开
-
hadoop集群部署之zookeeper安装(五)
前言最开始肯定是要了解,zookeeper是什么?其实zookeeper是一个为分布式框架提供协调服务的,这就是为什么大家都说zookeeper是大数据框架的润滑剂。在这里并不会详细的讲解zookeeper的详细的原理,我们只需要记住,它是对集群内的所有服务器节点进行监控。那如何监控呢?既然是监控就得把zookeeper安装到每一台你想要监控的服务器上,这时候服务器就被监控起来了,但是如何汇总这些监控信息呢,所以还需要有一个leader,其他的监控信息会随时汇总到leader服务器上。当服务器出现什原创 2021-08-14 10:48:55 · 231 阅读 · 0 评论 -
hadoop集群部署之hive安装(四)
前言首先讲讲hive是什么?hive本身是一个数据仓库工具,那既然是仓库,那就要存东西,**存什么东西呢?**存的是元数据(俗称metadata),那再问,**什么是元数据呢?**元数据并不是真实的数据,可以理解为是一种数据映射表,将非结构化的数据映射为结构化数据。从上图可以看出,hive中的元数据,其实只是一张张的数据映射表,你可以理解为mysql中的表也是这个样子,本身也就是一些映射表,真实的数据其实是存放在hdfs中,每当我们在hive中进行查询的时候,会根据hive中的映射表最终在hdfs上找原创 2021-08-11 18:26:18 · 1701 阅读 · 0 评论 -
hadoop集群部署之集群配置(三)
集群节点布置方案我会按照以上表格的表格进行集群节点的布置。关于以上的节点是什么意义,请看第一篇所讲的基础内容,这里只做简单的说明:HDFS层面DataNode:具体的存储节点NameNode:可理解为管理整个存储的目录,也就是哪个文件存到了具体的哪个DataNode上SecondaryNameNode:对NameNode的备份,防止挂掉Yarn层面NodeManager:具体的资源管理节点ResourceManager:总的资源管理节点最后再强调一点内容,就是标红色的节点不能布置到同一原创 2021-08-06 14:44:18 · 1819 阅读 · 2 评论 -
hadoop集群部署之ssh免密登录安装(二)
在第一篇关于hadoop集群的文章中主要是讲了关于集群的一些基础原理知识,以及准备了三台独立的虚拟机。在正式进行集群部署时,我们还需要做一点点的准备,那就是ssh的安装,那为什么要在集群部署中安装ssh呢?scp(完全拷贝)试想一下这样一个场景:当你在hadoop100虚拟机上安装好了hadoop,这时候你要拷贝到其他两台虚拟机上,第一种方法就是直接拷贝,用u盘复制出来,这种办法显然不是我们程序员该做的;第二种办法就是利用scp命令行进行拷贝,比如:scp -r scp_test leon@had原创 2021-08-05 15:42:10 · 474 阅读 · 0 评论 -
hadoop集群部署之基础概念介绍(一)
在进行hadoop集群部署的之前,首先得了解一下hadoop的工作原理。什么是hadoop呢,hadoop是一套大数据处理框架,主要解决海量数据的存储和分析计算。下面就详细看一下hadoop的组成结构,看它是如何解决存储和分析计算的:首先来看看hadoop的结构组件如下Hadoop组成结构这就是hadoop的结构,HDFS解决了数据的存储,MapReduce用于分析计算,这就和上面的对应上了,其中还会有一个Yarn,它的功能主要是做一个任务调度。各个组件的工作的原理是什么,首先看看HDFS,HD原创 2021-07-25 16:01:10 · 407 阅读 · 0 评论