大数据原生环境搭建笔记

最新推荐文章于 2024-04-23 02:18:21 发布

qianzhina

最新推荐文章于 2024-04-23 02:18:21 发布

阅读量245

点赞数

分类专栏： Hadoop分布式搭建

本文链接：https://blog.csdn.net/qianzhina/article/details/94687155

版权

Hadoop分布式搭建专栏收录该内容

2 篇文章 0 订阅

订阅专栏

搭建Hadoop分布式环境：
1、安装jdk1.8
2、上传Hadoop环境包
3、配置环境变量在/etc/profile配置文件中JAVA_HOME 和HADOOP_HOME，代码如下：
   export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
   export HADOOP_HOME=/opt/hadoop-2.6.5
   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4、在hadoop-env.cmd中添加JAVA_HOME配置，代码位置如下：
   @rem The java implementation to use. Required.
   set JAVA_HOME=%JAVA_HOME%
5、在hadoop-env.sh文件中添加jdk目录，代码位置如下：
   # The java implementation to use.
   export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
6、在core-site.xml中配置镜像文件和数据存放目录，如下：
   <configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/bjsxt/hadoop/full</value>
</property>
   </configuration>
7、在hadoop-site.xml中配置副本数目和secondary-datanode,代码如下：
   <configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node002:9868</value>
</property>
   </configuration>
8、配置slaves ,记录集群所有datanode的主机名，代码如下：
   node002
   node003
   node004
9、分发以上Hadoop配置至其他集群机器，命令如下：
   scp -r hadoop-2.6.5 root@node002:/opt/
10、格式化命令如下“
   hdfs namenode -format
11、启动和停止hadoop，命令如下：
   start-dfs.sh和stop-dfs.sh

HA模式：
           nn nn dn jn zkfc zk
   node001 * * *
   node002 * * * * *
   node003 * * *
   node004 * *
   基础设施层：
       补充NN所在的节点互相免密、各自免密
           ssh-keygen -t dsa -P '' f ./id_dsa 设置公钥命令
           cat id_dsa.pub >> authorized_keys 追到到该文件
           最后互相把各自公钥给到对方，因分布式2已经有1，故只需要把2给到1即可

           cat node002.pub >> authorized_keys

       搭建zookeeper集群
           上传zookeeper压缩包到node002，解压（配置好了再分发即可）
           解压到opt目录下，与Hadoop同级目录（个人喜好）。
           进入zookeeper目录的conf目录下复制zoo.sample.cfg为zoo.cfg
           vi zoo.cfg
               修改dataDir路径/var/bjsxt/hadoop/zk
               到最后一行增加：

               创建／var/bjsxt/hadoop/zk，在该目录下雾化一个文件
                   echo 1 > myid，
               zoookee 增加到/etc/profile中
               export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6
               path追加$ZOOKEEPER_HOME/sbin
               最后分发，修改myid内容
               配置其他两台/etc/profile
               启动zk命令
               zkServer.sh start,分别启动
               zkServer.sh status 查看状态

               配置好zookeeper后，配置Hadoop的HA，可以先拷贝etc下hadoop为hadoop-full ,对分布式进行备份
               然后开始配置HA，
                   首先修改hdfs-site.xml ,删除secondary，增加笔记中配置文件
                   然后配置core-site.xml,删除第一个配置，增加笔记配置，修改full为ha
                   分发配置到其他三台
                   最后格式化

   配置
   1、core-site.xml
       <property>
       <name>fs.defaultFS</name>
       <value>hdfs://mycluster</value>
       </property>
   2、hdfs-site.xml
       <property>
       <name>dfs.nameservices</name>
       <value>mycluster</value>
       </property>

       <property>
       <name>dfs.ha.namenodes.mycluster</name>
       <value>nn1,nn2</value>
       </property>

       <property>
       <name>dfs.namenode.rpc-address.mycluster.nn1</name>
       <value>node001:8020</value>
       </property>
       <property>
       <name>dfs.namenode.rpc-address.mycluster.nn2</name>
       <value>node002:8020</value>
       </property>

       <property>
       <name>dfs.namenode.http-address.mycluster.nn1</name>
       <value>node001:50070</value>
       </property>
       <property>
       <name>dfs.namenode.http-address.mycluster.nn2</name>
       <value>node002:50070</value>
       </property>

       <property>
       <name>dfs.namenode.shared.edits.dir</name>
       <value>qjournal://ode001:8485;node002:8485;node003:8485/mycluster</value>
       </property>

       <property>
       <name>dfs.journalnode.edits.dir</name>
       <value>/var/bjsxt/hadoop/ha</value>
       </property>

       <property>
       <name>dfs.client.failover.proxy.provider.mycluster</name>
       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
       </property>

       <property>
   <name>dfs.ha.fencing.methods</name>
   <value>sshfence</value>
   </property>

   <property>
   <name>dfs.ha.fencing.ssh.private-key-files</name>
   <value>/root/.ssh/id_dsa</value>
   </property>

   <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
       </property>

       <property>
       <name>ha.zookeeper.quorum</name>
       <value>node002:2181,node003thih:2181,node004:2181</value>
       </property>
   3、slaves
       node002
       node003
       node004

   4、分发集群配置
   5、启动前部署细节：
       node001~node003:
           hadoop-daemon.sh start journalnode
       node001:
           hdfs namenode -format
           格式化后：
               hadoop-daemon.sh start namenode
       node002:

           hdfs namenode -bootstrapStandby
       node001:
           hdfs zkfc -formatZK
   6、start-dfs.sh

配置前首先两台namenode互相免密和各自免密