搭建3个节点的分布式集群

最新推荐文章于 2024-01-08 20:09:23 发布
最新推荐文章于 2024-01-08 20:09:23 发布
阅读量690 收藏 1
点赞数
文章标签： 分布式 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/converoscar/article/details/77636560
版权
 
 
 
 
第一步：时钟同步(为每个节点执行以下的步骤)：
查看当前系统时间：
date
如果系统时间与当前时间不一致，执行以下的操作： 
cd /usr/share/zoneinfo/
ls
cd Asia/
ls
cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime		
yum install ntp   //如果ntp命令不存在，在线安装ntp
ntpdate pool.ntp.org
date	

  
  

   
   第二步:
所有节点的hosts文件都要配置静态ip与hostname之间的对应关系。
  
  

    
    

     
      
    
    

    
    

     
     第三步：检查防火墙是否关闭
    
    

   
   

    
    
     
     

      
      service iptables status

      
      

       
       chkconfig iptables off 
      
      

      
      

       
        
      
      

      
      

       
       第四步：hadoop用户组的创建
      
      

      
      

       
        
      
      

      
      

       
       第五步：ssh免密码登录（所有节点都要执行以下命令）
      
      

      
      

       
       切换到hadoop用户组
      
      

      
      

       
       
su hadoop

       
       
cd	

       
       
cd .ssh 检查是否已经创建ssh

       
       
mkdir .ssh

       
       
生成密钥：

       
       
ssh-keygen -t rsa	（一直enter下去）

       
       
cd .ssh 	

       
       
ls（此处会有公钥，私钥）
将公钥保存到authorized_keys认证文件中：
cat id_rsa.pub >> authorized_keys
ls
cd ..
chmod 700 .ssh
chmod 600 .ssh/*
ssh djt11
ssh djt11	
将其余所有节点中的共钥id_ras.pub拷贝到djt11中的authorized_keys文件中
cat ~/.ssh/id_rsa.pub | ssh hadoop@djt11 'cat >> ~/.ssh/authorized_keys' 
然后将djt11中的authorized_keys文件分发到所有节点上面。
scp -r authorized_keys hadoop@djt12:~/.ssh/
scp -r authorized_keys hadoop@djt13:~/.ssh/
scp -r authorized_keys hadoop@djt14:~/.ssh/
scp -r authorized_keys hadoop@djt15:~/.ssh/
第六步：
扩展：脚本工具的使用
mkdir /home/hadoop/tools
cd /home/hadoop/tools

          
          

           
            如果我们想直接使用脚本，还需要给脚本添加执行权限:
          
          

          
          

           
           
chmod u+x deploy.sh

           
           
chmod u+x runRemoteCmd.sh
同时我们需要将/home/hadoop/tools目录配置到PATH路径中


              
              

               
                
              
              
source /etc/profile

su hadoop

          
          
第七步：
jdk安装
上传jdk
查看操作系统的位数
file /bin/ls
mkdir /home/hadoop/app
cd /home/hadoop/app
ls
rz jdk-7u79-linux-x64.tar.gz
ls
tar zxvf jdk-7u79-linux-x64.tar.gz 
ls
rm jdk-7u79-linux-x64.tar.gz
添加jdk环境变量
su root
vi /etc/profile
配置如下：
JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
使配置文件生效：
source /etc/profile	
java -version	

             
             

              
               
             
             

             
             

              
              其他从节点：
             
             

             
             

              
              可以使用远程命令创建目录：
             
             

             
             

              
              runRemoteCmd.sh "mkdir /home/hadoop/app" slave

             
             

             
             

              
              cd /home/hadoop/app
             
             

             
             

              
              复制jdk到其他节点上：
             
             

            
            

             
             
deploy.sh jdk1.7.0_79 /home/hadoop/app/ slave

            
            

            
            

             
             记得，还要在各个节点中单独配置环境变量
            
            

            
            

             
             su root
            
            

            
            

             
             vi /etc/profile
            
            

            
            

             
             配置如下：
            
            

            
            

             
             JAVA_HOME=/home/hadoop/app/jdk1.7.0_79CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH
            
            

            
            

             
             
使配置文件生效：

            
            

            
            

             
             
source /etc/profile	

             
             
java -version	
runRemoteCmd.sh  "java -version" all

            
            

            
            

             
             
第八步：

             
             
Zookeeper安装

              
              

               
               
rz zookeeper-3.4.6.tar.gz

               
               
ls

               
               
tar zxvf zookeeper-3.4.6.tar.gz	
ls
rm zookeeper-3.4.6.tar.gz	
mv zookeeper-3.4.6 zookeeper	
修改Zookeeper中的配置文件:

cd /home/hadoop/app/zookeeper/conf/
ls
(cp zoo_sample.cfg zoo.cfg)
cd /home/hadoop/app
deploy.sh zookeeper /home/hadoop/app  slave

               
               
创建数据目录：

               
               
runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdata" all

               
               
创建日志目录：

               
               
runRemoteCmd.sh "mkdir -p /home/hadoop/data/zookeeper/zkdatalog" all 	

              
              

            
            
然后分别在djt11、djt12、djt13、djt14、djt15上面，进入zkdata目录下，
创建文件myid，里面的内容分别填充为：1、2、3、4、5
su hadoop
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:/home/hadoop/tools:$PATH
export JAVA_HOME CLASSPATH PATH ZOOKEEPER_HOME
JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH ZOOKEEPER_HOME
单节点上面启动Zookeeper
如果一个节点为leader，另四个节点为follower，则说明Zookeeper安装成功

            
            

             
             
cd /home/hadoop/data/zookeeper/zkdata

             
             
vi myid
配置Zookeeper环境变量

su root
vi /etc/profile
(主节点上的配置：)
JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

(从节点上的配置：)

                
                

                 
                 
cd /home/hadoop/app/zookeeper/

                 
                 
bin/zkServer.sh start
bin/zkServer.sh stop	
jps

                
                
使用runRemoteCmd.sh 脚本，启动所有节点上面的Zookeeper。

runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper
查看所有节点上面的QuorumPeerMain进程是否启动。

runRemoteCmd.sh "jps" zookeeper
查看所有Zookeeper节点状态。

runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh status" zookeeper

            
            

            
            

             
             

            
            

            
            

             
             第九步：
            
            

            
            

             
             
hadoop集群环境搭建

             
             

              
              
rz	

              
              
ls
tar zxvf hadoop-2.6.0.tar.gz	
ls
rm hadoop-2.6.0.tar.gz	
mv hadoop-2.6.0 hadoop	
切换到/home/hadoop/app/hadoop/etc/hadoop/目录下，修改配置文件
cd /home/hadoop/app/hadoop/etc/hadoop/
配置hadoop-env.sh，配置core-site.xml，配置hdfs-site.xml，配置 slave
cd /home/hadoop/app
deploy.sh hadoop /home/hadoop/app/ slave

              
              
配置下hadoop的环境变量

              
              
su root

              
              
vi /etc/profile

              
              
（主节点的配置：）

              
              
JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
HADOOP_HOME=/home/hadoop/app/hadoop
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:/home/hadoop/tools:$PATH
export JAVA_HOME CLASSPATH PATH ZOOKEEPER_HOME HADOOP_HOME

             
             

             
             

              
              （其他节点的配置：）
             
             

            
            

            
            

             
             JAVA_HOME=/home/hadoop/app/jdk1.7.0_79ZOOKEEPER_HOME=/home/hadoop/app/zookeeperHADOOP_HOME=/home/hadoop/app/hadoopCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH ZOOKEEPER_HOME HADOOP_HOME
            
            

            
            

             
             向所有节点分发hadoop安装包：

            
            

            
            

             
             
deploy.sh hadoop /home/hadoop/app/ slave

            
            

            
            

             
             
             
             
hdfs配置完毕后启动顺序：

             
             

              
              
runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper

              
              
runRemoteCmd.sh "/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode" all
在主节点上

 bin/hdfs namenode -format /
bin/hdfs zkfc -formatZK 

             
             

             
             

              
              
bin/hdfs namenode 

              
              
与此同时，需要在备节点（比如，djt12）上执行数据同步：


              
              
bin/hdfs namenode -bootstrapStandby	
djt12同步完数据后，紧接着在djt11节点上，按下ctrl+c来结束namenode进程。

		然后关闭所有节点上面的journalnode进程
 runRemoteCmd.sh "/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh stop journalnode" all	
 sbin/start-dfs.sh

                   
                   

                    
                     
                   
                   

                   
                   

                    
                     
                   
                   

             
             

            
            

             
             

              
               
             
             
单独启动namenode的命令：

             
             

              
               
             
             

             
             

              
              进行测试,上传文件到hdfs：
             
             

             
             

              
              cd /home/hadoop/app/hadoop
             
             

             
             

              
              hdfs dfs -ls /
             
             

             
             

              
              hdfs dfs -mkdir /test
             
             

             
             

              
              vi djt.txt
             
             

             
             

              
              hdfs dfs -put djt.txt /test
             
             

             
             

              
              

             
             

             
             

              
              启动YARN:

             
             

             
             

              
              配置mapred-site.xml，yarn-site.xml
             
             

             
             

              
              然后分发到其他的节点上：
             
             

             
             

              
              deploy.sh mapred-site.xml /home/hadoop/app/hadoop/etc/hadoop/ slave

             
             

             
             

              
              deploy.sh yarn-site.xml /home/hadoop/app/hadoop/etc/hadoop/ slave

             
             

             
             

              
              1、在djt11节点上执行 

             
             

            
            

             
             
sbin/start-yarn.sh	

            
            

            
            

             
             2、在djt12节点上面执行

            
            

            
            

             
             
sbin/yarn-daemon.sh start resourcemanager

             
             
同时打开一下web界面。

              
              

               
               
		

              
              
http://djt11:8088
http://djt12:8088
3、检查一下ResourceManager状态 

               
               

                
                
bin/yarn rmadmin -getServiceState rm1

               
               
	

               
               

                
                
bin/yarn rmadmin -getServiceState rm2

               
               
	

            
            

            
            

             
             
             
             

              
               
             
             

            
            

            
            

             
             Wordcount示例测试
             
             

            
            

            
            

             
             
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /test/djt.txt /test/out/
添尹
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis三节点分布式
ZhYun1on9的博客
02-20 224
文章目录Jedis客户端Jedisredis三节点分布式1. 分布式三个节点结构. ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200220175742386.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ub...
【配置】Hadoop三节点分布式集群搭建
ZoeYen_
12-30 787
一、集群规划1.主机规划2.软件规划jdk centos zookeeper hadoop3.用户规划 创建hadoop用户和用户组4.目录规划 所有软件目录： /home/hadoop/app 所有数据和日志目录： /home/hadoop/data二、安装前环境准备(所有节点)1.禁用防火墙[root@pc1 ~]#chkconfig iptables off [root@pc1 ~
3节点集群搭建
weixin_34074740的博客
04-15 209
https://www.cnblogs.com/chaoren399/articles/4749513.html 集群的概念 计算机集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。 l 集群系统中的单个计算机通常称为节点，通常通过局域网连接。 l 集群技术的特点： 通过多台计算机完成同一个工作。达到更高的效率 ...
搭建pxc集群时需要先安装mysql么_PXC三节点集群系统搭建
weixin_29879697的博客
02-05 208
1.概念：Percona Xtradb Cluster，简称PXC。是基于Galera插件的MySQL集群。 详细原理请移步我的另外文章：理解PXC集群原理2.搭建：环境：PXC101 IP：192.168.1.101 端口：3306 版本5.7 CentOS7PXC102 IP：192.168.1.102 端口：3306 版本5.7 CentOS7PXC103 IP：192.168.1.10...
Hadoop三节点集群搭建-上篇
yiwaka2013的专栏
02-01 652
一．Hadoop hadoop集群：通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群。可以通过虚拟机来实施集群环境来模拟物理节点。 二．前提条件 电脑配置：需在4G，最好8G、16G。 前提条件：安装Vmware，并安装三台linux系统（可通过复制实现安装）。 三个结点：按照hadoop集群的基本要求，其中一个是master结点，主要是用于运行had
redis（四）三节点分布式
zhang89666的博客
02-20 380
1.分布式三个节点结构 使用多个节点对应数据生成的系统处理数据的读写工作，多个节点每个都处理了总数据量一部分数据—数据分片。 2.数据分片计算 大量数据生产即将发送给redis节点进行处理之前，必须计算完毕，某一条数据应该交给谁交给哪个节点去进行读写的工作，而且要考虑单调性。 单调性：存哪里了，就应该从哪去找数据 2.1hash取余 a、hash取余计算公式 可以实现一个简单的分片计算逻辑–has...
Hadoop之三节点集群搭建
月生的静心苑
12-09 1375
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据
单节点的cratedb添加一个节点组成一个集群
weixin_30755709的博客
09-03 150
环境:OS:centos 7db:3.2.0 原有节点 新添加节点192.168.1.118 192.168.1.85 ----------------新节点部署cratedb-------------------1.安装python3安装步骤可以参考:http://blog.chinaunix.net/uid-77311-id-5787558.html 2.下载cr...
三个节点的搭建
Ocean
10-30 4768
简介：搭建三个服务器节点，相互之间能够通过hostname互相ping通，window和服务器之间能够相互ping通 node01 1. 搭建好虚拟机，配置镜像文件 2. 查看网关 3. 配置静态ip `vi /etc/sysconfig/network-scripts/ifcfg-etho` 删除两个机器识别码，防止拷贝出现问题 DEVICE=eth0 #网卡设备名,请勿修改名字 ...
Hadoop集群（三节点）安装与部署
云计算?
03-03 239
1.2.1环境准备 环境由三台服务器组成，分别为目录节点，内容节点，服务器列表如下所示： 表１ 主机环境准备 IP 机器名称 10.0.0.201 m1.hadoop 10.0.0.209 s1.hadoop 10.0.0.211 s2.hadoop 下面列出各主机配置信息: 主...
多节点分布式集群
wetsaid的博客
10-27 1196
准备n台（3台为例）服务器 配置好网络，主机名，ip-主机名的映射，关闭防火墙，安装java hadoop-server-00: ssh-copy-id hadoop-server-01 ssh-copy-id hadoop-server-02 scp -r /usr/local/apps/Hadoop-2.5.2/ hadoop-server-01:/usr/local/apps
大数据 - 第三课 ：Hadoop三个节点的设置和联立
陈杉菜
03-17 570
话说在前面，我真的觉得这个课给我带来一种十分紧张刺激的感觉，害怕跟不上，课前准备事无巨细，pf老师安排周到得体，， 耐心温柔的人真是宝贝阿（土味 验证上周安装的最小安装系统 打开虚拟机验证是否能够上网，查看ip地址 linux系统远程使用 一般服务器系统都不安装GUI，因为没有必要，而且GUI非常战役系统资源。一般情况下，Server系统都是远程是呀。如果桌面是linux或mac，可以直接ss...
如何搭建EOS主网节点？
weixin_33939843的博客
08-06 343
个人简介 [HundredLee] 从事数字货币开发工作，区块链开发工程师、iOS&Web开发者。 微博 ：http://weibo.com/hundredlee2011 邮箱 ：hundred9411#gmail.com 一、前期准备 ① genesis.json 创世文件 { "initial_timestamp": "2018-06-08T08:08:08.888", ...
基于hadoop2.6.5搭建5个节点的分布式集群—（七）安装hadoop
billyuncle的博客
06-17 1092
1、将下载好的hadoop-2.6.5.tar.gz安装包，上传至hadoop001节点中的/usr/hadoop/app目录下。2、解压安装包：tar zxvf hadoop-2.6.5.tar.gz。3、重命名解压文件目录：mv  hadoop-2.6.5 hadoop4、删除hadoop-2.6.5.tar.gz5.配置hadoop家目录下的.bash_profile生效.bash_prof...
多节点私链搭建教程（一）
m0_55932113的博客
09-15 2777
向导 geth的安装和使用过程 windows下安装Geth 配置和使用 搭建私有网络 windows下安装Geth 1.下载地址： https://geth.ethereum.org/downloads/ 下载windows版 2.安装geth时，只需将默认地址更改，并且勾中DEVELOPMENT TOOLS这个选项即可。 3.配置geth的环境变量： 3.1右键此电脑选中属性 3.2在相关设置中找到高级系统设置（如果没找到可以直接在windows设置中查找高级系统设置这个功能） .
Openstack-Rocky 一键安装（多节点搭建）~步骤超详细
weixin_45691464的博客
03-26 8652
1111
自己搭建5节点分布式集群
夏夜幽歌的博客
05-23 2491
hadoop初学，虚拟机搭建5节点分布式集群
Zookeeper集群搭建（3个节点为例）
qq_34478594的博客
04-05 2323
Zookeeper集群搭建 1.说明 本文用的linux版本：centos6，准备3台centos6虚拟机，给他们安装zookeeper,每一台的安装过程相同，你也可以安装一台，然后克隆出另外两台。主机名分别为node1，node2，node3。 2.准备工作 安装java，wget yum -y install java yum -y install wget 3.安装zookee...
Etcd 高可用集群搭建及运维
最新发布
l65656565的博客
01-08 1116
搭建 etcd 集群一.主机搭建1.编辑第一台节点的etcd.conf文件（1）.删除之前的数据（2）.编辑systemd配置文件（3）.开放端口2.克隆虚拟机（1）.克隆（2）.创建完整克隆 ，不要放在c盘哦（3）打开两台虚拟机并查看各自的IP3.编辑第二台节点的etcd.conf文件（就是刚刚克隆的虚拟机里面的etcd）二.集群测试数据完成同步了，这就表示主机集群已经搭建好了！！！！！！！1.查看所有节点2.以表格的方式查看所有节点。
搭建一个hadoop分布式集群
03-04
可以回答这个问题。搭建一个 Hadoop 分布式集群需要先安装 Hadoop 软件，然后配置集群的各个节点，包括 NameNode、DataNode、ResourceManager、NodeManager 等组件。还需要配置 HDFS 分布式文件系统和 YARN 资源管理器，以及 MapReduce 程序运行环境等。最后启动集群，测试集群的功能和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值