安装hadoop集群

最新推荐文章于 2022-10-10 23:06:47 发布
最新推荐文章于 2022-10-10 23:06:47 发布
阅读量515 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop centos vmware hadoop集群 虚拟机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010793761/article/details/53982042
版权

安装三个节点的hadoop集群
一、准备软件有
CentOS-7-x86_64-DVD-1511.iso
jdk-8u112-linux-x64.tar.gz
hadoop-2.6.4-src.tar.gz

二、安装CentOS7
使用VMware安装三台CentOS7,
三个系统的虚拟机配置是1G内存，8核处理器，网络是NAT模式
系统安装选择的是
- 最小安装
- 自选分区
安装完成之后，把三个系统设置成静态IP
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
下面几个字段有的修改，没有的添加
BOOTPROTO=static
IPADDR=192.168.2.3（每个系统不同的ip）
GATEWAY=192.168.2.2
DNS1=192.168.2.2
NETMASK=255.255.255.0
ONBOOT=yes
三、安装jdk1.8
我的jdk安装包放在/usr/local/下面，安装命令看下面：
tar -zxvf jdk-8u112-linux-x64.tar.gz
vi /etc/profile
在最下面添加jdk的相关信息
export JAVA_HOME=/usr/local/jdk1.8.0_112
export CLASS_PATH=.: CLASSPATH: JAVA_HOME/jre/lib: JAVAHOME/jre/libexportPATH= PATH: JAVAHOME/bin: JAVA_HOME/jre/bin
保存之后记得命令source /etc/profile，不然没有生效哦。
最后用javac -version, java -version看看是不是jdk1.8吧。
ps：有的人以前安装的时候会有原来就安装了jdk的情况，我这里选择的是最小安装方式所以不会有jdk已经安装了的情况，只有在选择基本服务器等其他安装方式的时候会帮你安装上jdk。
四、修改/etc/hosts文件
vi /etc/hosts
在最后添加
192.168.2.3 bdh1
192.168.2.4 bdh2
192.168.2.5 bdh3
三台机器都要这么做, 这么做是为了访问的方便，可以ping bdh2试试哦。
五、在CentOS中添加hadoop用户
useradd hadoop
passwd hadoop 在root用户登录下给hadoop用户创建密码
六、建立hadoop用户之间相互信任
su - hadoop
ssh-keygen -t rsa 全部回车即可，三台机器都要操作
把bdh1, bdh2, bdh3机器的id_rsa.pub的内容全部添加到/home/hadoop/.ssh/authorized_keys中再保存到三台机器
就完成了，可以ssh bdh1, ssh bdh2, ssh bdh3跳转试试，第一次会询问是否保存缓存,yes就可以了。
七、关闭防火墙，SELINUX
可以先使用
systemctl -a | grep service 查看一下当前有哪个service在运行
关闭selinux
vi /etc/selinux/config
把SELINUX=enforcing换成SELINUX=disabled
关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
可以用
systemctl list-unit-files查看所有已启动服务列表
systemctl is-enabled firewalld.service查看服务启动设置是enable不是disable
之后重启系统selinux的设置就会永久生效
八、安装hadoop集群
1、解压hadoop
在/usr/local目录下新建一个目录hadoop，然后使用
tar -zxvf hadoop-2.6.4.tar.gz解压hadoop
在/usr/local/hadoop目录下分别新建tmp, name , data 三个目录
2、修改hadoop的{hadoop_home}/etc/hadoop下的配置文件

《1》core-site.xml文件
 <configuration>                                             
        <property>                                          
                <name>fs.defaultFS</name>                   
                <value>hdfs://bdh1:9000</value>             
        </property>                                         
        <property>                                          
                <name>io.file.buffer.size</name>            
                <value>131072</value>                       
        </property>                                         
        <property>                                          
                <name>hadoop.tmp.dir</name>                 
                <value>/usr/local/hadoop/tmp</value>        
        </property>                                         
        <property>                                          
                <name>hadoop.proxyuser.root.hosts</name>    
                <value>bdh1</value>                         
        </property>                                         
        <property>                                          
                <name>hadoop.proxyuser.root.groups</name>   
                <value>*</value>                            
        </property>                                         
</configuration>                                            
《2》hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>bdh1:9001</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/hadoop/name</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/hadoop/data</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>
《3》mapred-site.xml
<configuration>                                                      
        <property>                                                   
                <name>mapreduce.framework.name</name>                
                <value>yarn</value>                                  
        </property>                                                  
        <property>                                                   
                <name>mapreduce.jobhistory.address</name>            
                <value>bdh1:10020</value>                            
        </property>                                                  
        <property>                                                   
                <name>mapreduce.jobhistory.webapp.address</name>     
                <value>bdh1:19888</value>                            
        </property>                                                  
</configuration>                                                     
《4》yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce.shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>bdh1:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>bdh1:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>bdh1:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.adress</name>
                <value>bdh1:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>bdh1:8088</value>
        </property>

</configuration>
《5》hadoop-env.sh在相应位置找到并修改成如下信息
export JAVA_HOME=/usr/local/jdk1.8.0_112
export HADOOP_PREFIX=/usr/local/hadoop/hadoop-2.6.4
《6》yarn-env.sh在相应位置找到并修改成如下信息
export JAVA_HOME=/usr/local/jdk1.8.0_112
《7》slaves文件的localhost删除，添加如下两行
bdh2
bdh3
最后，在/etc/profile文件中添加
#hadoop variable settings
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4
#export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:$HADOOP_HOME/lib/native
#export HADOOP_HDFS_HOME=$HADOOP_HOME
#export HADOOP_MAPRED_HOME=$HADOOP_HOME
#export HADOOP_YARN_HOME=$HADOOP_HOME
#export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
上面的配置的那些在三台机器上都是要一样的

九、启动hadoop集群
使用命令
start-dfs.sh
start-yarn.sh
就可以启动集群了，
用jps命令可以看到在主服务器bdh1上有
SecondaryNameNode
ResourceManager
NameNode
三个服务
在从服务器上有DataNode服务启动
在浏览器里面可以输入网址http://192.168.2.3:8088/ 和 http://192.168.2.3:50070 查看集群信息
在命令行使用hdfs的命令
hdfs dfs -ls /
hdfs dfs -mkdir /usr
可以查看或者创建目录说明安装成功了

u010793761
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Virtualbox虚拟机搭建hadoop集群环境
sinat_28881171的博客
05-16 7043
1.1安装centos7在centos官网下载centos7镜像文件，在Virtualbox软件中导入镜像文件进行安装，本次由于实验环境限制，只安装了三台centos7虚拟机，分别命名为hadoop1,hadoop2,hadoop3，为保证三台虚拟机能够正常通信，三台虚拟机的网络连接方式均设置为仅主机（Host-only）适配器模式，每台虚拟机分配内存为2G，存储为8G。在VrtualBox中搭建...
CentOS7使用Docker安装hadoop集群
weixin_43311978的博客
04-10 3157
先更新一下yum，确保yum是最新的 [hadoop@bogon ~]$ sudo yum update 安装docker [hadoop@bogon ~]$ sudo yum install -y docker 安装完成后，可以通过docker version查看 [root@bogon ~]# docker version Client: Version: 1.13.1 ...
Hadoop集群在Ubuntu上的安装与配置 ——（01）环境前期准备
努力学习的大小宝
03-06 704
说明：本小白嵌入式开发方向，零基础接触大数据Hadoop开发，作为小白学习Hadoop入门实在太困难了。所以在这里记录Hadoop的学习过程，为同样零基础的小白学习Hadoop减少困难。 本文搭建的是Hadoop单节点伪分布式集群，单节点集群，即NameNode在server01上，其他5台机器均为DataNode 准备：VMware软件、六台Linux虚拟机(≥2台)、Xsh...
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
安装Hadoop集群（超详细！）
weixin_51981189的博客
10-10 4430
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。
VMWare安装Ubuntu安装hadoop集群
leoliuyan的博客
11-11 8811
VMWare安装Ubuntu安装hadoop集群VMWare安装Ubuntu安装hadoop集群VMware Workstation安装安装ubuntu系统ubuntu中安装java安装ssh并设置免密登录安装hadoop VMWare安装Ubuntu安装hadoop集群 本文记载许多常见问题的解决方案，当遇到问题时，请先往下看，是否有解决方案，若无请自行百度查找。 VMware Workstation安装 安装器链接如下。 安装器 https://download3.vmware.com/software
使用ambari安装Hadoop集群
九万里
07-09 4523
一、环境准备 1.操作系统检查 操作系统版本检查 cat /etc/redhat-release 操作系统默认语言检查 echo $LANG echo 'export LANG=en_US.UTF-8' >> ~/.bashrc 操作系统时区设置 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 时钟同步 4.1 安装ntp服务： rpm –qa|grep ntp yum install ntp systemctl is
手把手教你安装Hadoop集群
小鱼吃猫
10-03 1876
手把手教你安装Hadoop集群
使用 Docker 安装 Hadoop 集群
m0_67400973的博客
08-27 2232
相信大家都有过玩虚拟机的经验，也相信大家有想搭一个大数据集群偶尔在自己电脑上做做测试。使用虚拟机是可以完成的，但是过程非常漫长，而且很多操作不能以后重复使用。这里我近期使用Docker完成了测试集群的搭建，我想用的时候，十几秒就可以直接启动，速度很快。而且所有的镜像都可以上传hub云端，想用的时候，从云端pull到任何一台有docker的电脑直接运行。而且，以往我们使用虚拟机搭建集群，我们需要配置很多的免密，甚至Hadoop等文件，我们需要上传到各个节点上。...
Linux 安装Hadoop集群+脚本分发，最新教程，细到极致
gubeichengxuyuan的博客
05-12 2032
  大家早上好呀，因为五一放假后事情很多，快小半个月没有更新了，感觉快荒废了，所以打算写点东西，和小伙伴们一起分享   今天给大家带来的是，最新版Hadoop 3.3.2 安装教程，这次集群搭建教程，不同以往，老哥最近学了脚本分发技术，以后集群搭建，都是走脚本分发   话不多说，开始搭建 1、首先，准备3台服务器，虚拟机也行，注意：Hadoop是java写的，提前安装好jdk（之前的文章有安装jdk教程） 2、查看jdk版本，确认一下 [root@VM-4-12-centos jdk1.8.0_261]#
利用ansible 自动 安装Hadoop 集群
最新发布
05-10
本篇将详细讲解如何利用Ansible自动安装Hadoop集群。 首先，理解Ansible的工作原理至关重要。Ansible基于SSH（Secure Shell）协议，无需在目标节点上安装任何代理，通过控制节点即可实现远程管理。它使用YAML格式的...
docker一键安装hadoop集群
10-14
【Dockerfile详解】 Dockerfile 是一个文本文件，包含了构建 Docker 映像的指令序列。...通过 Docker 安装 Hadoop 集群，可以在不改变主机系统的情况下快速部署和测试，方便开发者和运维人员进行开发、测试和演示。
在linux环境安装hadoop集群
03-16
"在 Linux 环境安装 Hadoop 集群" 在 Linux 环境中安装 Hadoop 集群是大数据处理和分析的重要步骤。Hadoop 是 Apache 基金会开发的一款开源的分布式计算框架，能够处理大量数据。下面是安装 Hadoop 集群的详细步骤...
Hadoop集群安装
01-07
Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 服务器hadoop103 HDFS NameNode DataNode DataNode DataNode ...
CentOS7关闭防火墙和selinux
热门推荐
janvinal的专栏
01-06 1万+
直接上命令 在root用户下 systemctl stop firewalld systemctl disable firewalld systemctl status firewalld vi /etc/selinux/config 把SELINUX=enforcing 改成 SELINUX=disabled 重启电脑就可以了
CentOS7安装scala
janvinal的专栏
01-12 3832
一、准备软件 scala-2.11.8.rpm 把安装包上传到/etc/local/scala下，使用命令安装： rpm -ivh scala-2.11.8.rpm 因为scala不能重定位，所以不能使用–prefix=的命令安装到指定位置了。 二、查看scala安装的位置 rpm -ql scala | more 这个一般会有
CentOS7下安装mysql5.7.17
janvinal的专栏
01-07 2119
下载mysql-5.7.17-1.el7.x86_64.rpm-bundle.tar 里面包含了所有的rpm安装文件，tar就是没有压缩的打包文件，所以使用 tar xvf mysql-5.7.17-1.el7.x86_64.rpm-bundle.tar就可以了 下面是安装的命令 用groupadd创建mysql权限组 用useradd 创建mysql用户，注意: mysql用户不用hom
CentOS7下安装postgresql9.3+
janvinal的专栏
01-06 1264
先关闭系统防火墙和selinux，参考CentOS7下关闭防火墙和selinuxsu - postgres pg_ctl restart /usr/local/pgsql/data -l /usr/local/pgsql/log/log2.log pgsql

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值