Hadoop
wolfengi
键盘在手,记忆由我
展开
-
内网环境CentOS7安装Hadoop遇到的问题:fuser
版权声明:本文为FromTheWind原创文章,转载请注明出处。https://blog.csdn.net/FromTheWind/article/details/84105907内网安装的CentOS7系统最小安装默认不会安装psmisc(fuser等命令的rpm包),导致测试namenode高可用时kill掉namenode active后namenode standby不会自主切换为na...原创 2018-11-15 16:12:22 · 687 阅读 · 1 评论 -
Hadoop高可用配置文件hdfs-site.xml之dfs.ha.fencing.methods说明
版权声明:本文为FromTheWind原创文章,转载请注明出处。https://blog.csdn.net/FromTheWind/article/details/84106341dfs.ha.fencing.methods配置有sshfence和shell两种方法:sshfence:防止namenode脑裂,当脑裂时,会自动通过ssh到old-active将其杀掉,将standby切换为...原创 2018-11-15 16:34:09 · 4802 阅读 · 2 评论 -
Hadoop ResourceManager 高可用其中一个启动失败(注意):配置yarn.resourcemanager.ha.id说明
在配置 hadoop 的 yarn 高可用时,初学时理所应当认为 hadoop 的所有所有节点的 site 等配置文件是一致的,但是这里要强调一点,yarn-site.xml 的 yarn.resourcemanager.ha.id 属性在 2 台 resourcemanager(同namenode)节点的值是不能一样的,如果一样会出现:java.net.BindException: Port i...原创 2019-05-06 10:11:48 · 2652 阅读 · 0 评论 -
Hadoop 2.7.3 集群环境安装
hadoop集群安装(先安装jdk,zookeeper,再安装hadoop) ①创建hadoop用户 groupadd hadoop #创建hadoop组 useradd -g hadoop hadoop #创建hadoop用户 passwd hadoop ...原创 2019-05-06 17:51:03 · 508 阅读 · 0 评论 -
Hadoop3.1.2 集群安装
各机器做免密配置(https://blog.csdn.net/FromTheWind/article/details/89887812)安装jdk(不做介绍)安装zookeeper下载导入hadoop-3.1.2.tar.gz解压:tar zxf hadoop-3.1.2.tar.gz配置用户环境变量:sed -i '$a\\nexport HADOOP_HOME=/home/hadoo...原创 2019-05-06 17:58:40 · 795 阅读 · 0 评论 -
Zookeeper 集群安装
zookeeper协调服务安装一、cp zookeeper安装包到系统中二、解压 cd /soft tar -zxvf zookeeper-***三、创建软链接(给用户赋权限:chown -R group:user zookeeper-**) ln -s zookeeper-*** zookeeper四、修改环境变量vi /home/**...原创 2019-05-06 18:03:03 · 375 阅读 · 0 评论