心雨先生

生活不止,学习不停

2.1 Hadoop-HDFS高可用搭建

  1. core-site.xml
<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://yuntian</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name> //定义zookeeper服务器
   <value>node2:4180,node3:4180,node4:4180</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/hadoop</value>
</property>
</configuration>
  1. hdfs-site.xml
<configuration>
<property>
  <name>dfs.nameservices</name>
  <value>yuntian</value>
</property>
<property>
  <name>dfs.ha.namenodes.yuntian</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.yuntian.nn1</name>
  <value>node1:9000</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.yuntian.nn2</name>
  <value>node2:9000</value>
</property>
<property>
  <name>dfs.namenode.http-address.yuntian.nn1</name>
  <value>node1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.yuntian.nn2</name>
  <value>node2:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name> //定义qjournal服务器
  <value>qjournal://node2:8485;node3:8485;node4:8485/yuntian</value> 
</property>
<property>
  <name>dfs.client.failover.proxy.provider.yuntian</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/hadoop/data</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>
</configuration>
  1. 准备zookeeper
    1. 三台zookeeper:node2,node3,node4
    2. 编辑conf/zoo.cfg配置文件   自己创建
tickTime=2000   
initLimit=5   
syncLimit=2   
dataDir=/opt/zookeeper/data
dataLogDir=/var/logs/zookeeper   
clientPort=4180          //这里端口号注意core-site.xml配置的端口号一致
server.2=node2:2888:3888
server.3=node3:2888:3888
server.4=node4:2888:3888
 mkdir -p /opt/zookeeper/data    先创建dataDir文件夹
  1. 在dataDir目录中创建一个myid的文件,文件内容为2,3,4
  2. 在bin下vim zkEnv.sh  修改ZOO_LOG_DIR="/var/logs/zookeeper"   日志路径
配置hadoop中的slaves启动三个zookeeper(/conf下):./zkServer.sh start    注意先启动的zookeeper服务器要和其他几台服务器做免密登陆启动三个JournalNode(hadoop-2.5.2/sbin下):./hadoop-daemon.sh start journalnode在其中一个namenode上格式化(/hadoop-2.5.2):bin/hdfs namenode -format把刚刚格式化之后的元数据(core-site.xml配置的hadoop.tmp.dir路径下)拷贝到另外一个namenode上
  1. 启动刚刚格式化的namenode(/sbin下) :./hadoop-daemone.sh start namenode
  2. 在没有格式化的namenode上执行:bin/hdfs namenode -bootstrapStandby
  3. 启动第二个namenode(/sbin下): ./hadoop-daemone.sh start namenode
在其中一个namenode上初始化zkfc:bin/hdfs zkfc -formatZK sbin/hadoop-daemon.sh start zkfc --一般./stop-dfs.sh就已经启动了,一般不自己启动停止上面节点(/sbin):./stop-dfs.sh
全面启动(/sbin)./start-dfs.sh


所有启动(/sbin):./start-all.sh
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011418530/article/details/80318733
文章标签: HDFS高可用
个人分类: 大数据-Hadoop
所属专栏: 逐渐了解Hadoop
想对作者说点什么? 我来说一句

Hadoop-hdfs的安装

2018年05月10日 92KB 下载

没有更多推荐了,返回首页

不良信息举报

2.1 Hadoop-HDFS高可用搭建

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭