- 博客(6)
- 收藏
- 关注
原创 master的schedule()方法解读
一、源码展示private def schedule(): Unit = { if (state != RecoveryState.ALIVE) { return } // Drivers take strict precedence over executors val shuffledAliveWorkers = Random.shuffle(wor
2017-10-11 23:16:26
871
原创 关于zookeeper集群的配置问题
Hadoop HA集群搭建常见问题: 本篇以五个节点搭建的集群为例,方案如下: master:zookeeper datanode namenode resourcemanager nodemanager slave1:zookeeper datanode namenode resourcemanager nodemanager slave2
2017-08-30 21:32:23
510
原创 CentOS 7 磁盘分区
我们知道,在一个系统中,我们必须要给物理磁盘分区才能使用,在centOS7 Linux中也是一样,绝大多数用户都是在该系统安装的时候选择了默认分区,我们来看一下它的默认分区是怎么样的,在命令行输入fdisk -l 如下: 这里默认一个20G 的硬盘,图片中可以看到,系统已经默认地将磁盘分成了两个区,但是这两个分区的文件系统不一样,第一个分区的系统是Linux的主系统,而第二个分区是LVM
2017-08-27 19:58:09
3548
原创 分离了SecondaryNameNode之后的备份文件目录的配置
在分离了SecondaryNameNode 之后 :我们知道namenode节点肯定会存放一些元数据信息,其实SecondaryNameNode也不例外,而当我们把它分离到其他节点后,我们大多数会在与namenode默认的dfs/name下面去找存放的元数据信息,但是如果不加特定的配置的话,SecondaryNameNode的备份信息并不是在这个目录下,也就是说它所存放的元数据信息的位置并不是和n
2017-08-25 09:37:02
487
原创 Hadoop集群中改变了其中一个节点的主机名之后 的ssh连接问题
在成功搭建了Hadoop之后 ,有些时候可能会需要改变一些节点的主机名以方便我们去识别,但是在改变了这些节点的主机名之后 ,我们会发现重启文件系统时候,这些节点都连不上master节点,原因就是当我们改变了一些节点的主机名的时候,当初配置的ssh的公钥不是以前的版本的公钥,那公钥后面的后缀还是@@,所以在其他节点上的Authetication_keys文件中的公钥都没有更新,这时需要做的步骤如下:
2017-08-24 22:33:00
1581
原创 Hadoop集群中分离ScondaryNameNode节点
在我们刚搭好的Hadoop集群中,在启动了dfs之后,我们通过jps命令会发现在master节点显示如下: 但是SecondaryNameNode虽然起到了一个助手作用,但是如果它和namenode在同一个节点上,那么当这个节点一旦挂掉,整个集群无法恢复,但是如果能够将SecondaryNameNode分享出来,或者分给其他节点,那么当namenode所在的节点挂掉之后,就可以去Secon
2017-08-24 17:09:07
486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人