hadoop2.8+centos7集群搭建

最新推荐文章于 2022-08-16 15:07:22 发布
最新推荐文章于 2022-08-16 15:07:22 发布
阅读量802 收藏 2
点赞数
分类专栏： hadoop 文章标签： hadoop

本集群搭建于以下软件：

VMware Workstation12 Pro

SecureCRT 7.3

Xftp 5

CentOS-7-x86_64-Everything-1611.iso

hadoop-2.8.0.tar.gz

jdk-8u121-linux-x64.tar.gz
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

这里的集群是 
192.168.195.132 Master、Namenode、SecondNameNode、DataNode 
192.168.195.133 Slaver1 DataNode 
192.168.195.134Slaver2 DataNode

一、虚拟机的安装 
VMware Workstation Pro的安装步骤不再赘述，next、next就行，只做Centos的安装步骤详解 
1.VMware Workstation12 Pro选择新建虚拟机 
这里写图片描述

2.选择典型 
这里写图片描述

3.安装程序光盘映像文件，选择你的CentosISO文件，下一步 
这里写图片描述

4.输入新建的虚拟机名：Master|Slaver1|Slaver2 
这里写图片描述 
5.分配磁盘大小，指定文件拆分类型，下一步 
这里写图片描述 
6.网络选择桥接模式、复制主机物理地址，内存和磁盘根据自己的条件选择就好了，关闭 
备注：选择桥接模式能虚拟出一台和真是主机没有多大区别的虚拟机 
这里写图片描述 
7.创建后开启此虚拟机 
这里写图片描述

8.选择Install Centos 7 
这里写图片描述
9.Next、Next、Next我选择的是最小化安装，在安装的过程中设置自己的root密码，直到下面这一步

10.Login，修改主机名

hostnamectl --static set-hostname <host-name>
  • 1

之后注销重新登录，就可以看到主机名已经成功地被修改了 
这里写图片描述 
11.修改网卡

 vi /etc/sysconfig/network-scripts/ifcfg-ens33
  • 1

把Onboot修改为Yes 
这里写图片描述

这里写图片描述

：wq保存，然后service network restart 
这里写图片描述

12.查看IP地址：ifconfig

这里写图片描述 
从图中得到IP地址：172.17.11.110，子网掩码：２５５．２５５．２５５．０ 
13.查看ＤＮＳ：

nmcli dev show|grep DNS
  • 1

这里写图片描述

14.查看网关：

route -n
  • 1

这里写图片描述

15.修改网卡

 vi /etc/sysconfig/network-scripts/ifcfg-ens33
  • 1

修改静态IP地址，添加IP地址、子网掩码、网关、DNS

这里写图片描述

保存， 
16.重启网关 
service network restart 
这里写图片描述

17.查看防火墙状态

systemctl status firewalld
  • 1

我这里显示防火墙没有关闭

这里写图片描述

18.关闭防火墙

systemctl stop firewalld
  • 1

禁止防火墙

systemctl disable firewalld
  • 1

这里写图片描述 
19.进制Selinux

vi /etc/sysconfig/selinux
  • 1

这里写图片描述

这里写图片描述

其他的机器按照一样的步骤来，虚拟机安装准备到此结束 
二、免密码登录

分别在每一台机器上执行

ssh-keygen -t rsa
  • 1

一路回车，然后到/root/.ssh文件夹下 
这里写图片描述

在Master上将id_rsa.pub重定向到authorized_keys

cat id_rsa.pub>>authorized_keys
  • 1

将Slaver1/Slaver2的id_rsa.pub追加到authorized_keys

ssh slaver1的IP地址 cat /root/.ssh/id_rsa.pub>>authorized_keys
  • 1

查看id_rsa.pub中的内容：

这里写图片描述
将authorized_keys分发到Slaver1、Slaver2的/root/.ssh目录下

scp authorized_keys slaver1/slaver2的IP地址 /root/.ssh/
  • 1

这里写图片描述

可以试一下ssh slaver1/slaver2

这里写图片描述

可以看到现在Master上登录在Slaver1、Slaver2并不需要手动输入密码了

如果不能直接ssh slavername,需要先手动配置一下master 上的/etc/hosts文件 
然后再通过scp命令分发到每台从节点的对应位置 
这里写图片描述

三、JDK的安装

通过xftp链接虚拟机，新建链接

这里写图片描述

这里写图片描述

在Windows中找到JDK文件，然后双击传输到Centos中/usr/local路径下 
这里写图片描述

在终端中解压：

tar -xvf jdk-8u121-linux-x64.tar.gz
  • 1
  • 2

这里写图片描述

然后将解压后的文件夹重命名为java

配置环境变量：

vi /etc/profile 
在profile文件末尾追加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 1
  • 2
  • 3

保存，

source /etc/profile
  • 1

在终端输入：java -version,出现以下内容说明JDK安装成功

java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
  • 1
  • 2
  • 3

最后通过scp命令将整个文件夹分发到从节点Slaver1、Slaver2上

四、Hadoop的安装

1.通过xftp将Hadoop传到master:/usr/local路径下： 
然后解压，将解压后的文件重命名为hadoop,配置环境变量： 
vi /etc/profile,在文件末尾追加：

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_HOME=$HADOOP_HOME/etc/hadoop/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  • 1
  • 2
  • 3

source /etc/profile 
使配置文件生效

2.修改配置文件

  • vi /usr/local/hadoop/etc/hadoop-env.sh文件添加
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
  • 1
  • vi /usr/local/hadoop/etc/yarn-env.sh文件添加
export JAVA_HOME=/usr/local/java/jdk1.8.0_121
  • 1
  • 配置core-site.xml
<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.195.132:9000</value>
 </property>
 <property>
 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>file:/usr/local/hadoop/tmp</value>
 <description>Abase for other temporary directories.</description>
 </property>
 <property>
 <name>hadoop.proxyuser.root.hosts</name>
 <value>*</value>
 </property>
 <property>
 <name>hadoop.proxyuser.root.groups</name>
 <value>*</value>
 </property> 
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 配置yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
  </property>
  <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
             <name>yarn.resourcemanager.address</name>
             <value>192.168.195.132:8032</value>
  </property>
  <property>
             <name>yarn.resourcemanager.scheduler.address</name>
             <value>192.168.195.132:8030</value>
  </property>
  <property>
             <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>192.168.195.132:8035</value>
  </property>
  <property>
             <name>yarn.resourcemanager.admin.address</name>
             <value>192.168.195.132:8033</value>
  </property>
  <property>
             <name>yarn.resourcemanager.webapp.address</name>
             <value>192.168.195.132:8088</value>
  </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 修改hdfs-site.xml文件
<configuration>
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/hadoop/hdfs/name</value>
 </property>
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/local/hadoop/hdfs/data</value>
 </property>
 <property>
 <name>dfs.replication</name>
 <value>3</value>
 </property>
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>192.168.195.132:9001</value>
 </property>
 <property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
 </property> 
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 修改mapred-site.xml
<configuration>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 修改slaves文件
192.168.195.133
192.168.195.134
192.168.195.132
  • 1
  • 2
  • 3

都配置完毕之后，将master上的Hadoop文件夹发送到Slaver1、Slaver2上，然后配置对应机器上的环境变量vi /etc/profile

五、格式化Hadoop

/usr/local/hadoop/bin/hadoop namenode -format
  • 1

六、启动Hadoop集群

start-all.sh
  • 1

Master: 
这里写图片描述

这里写图片描述 
Slaver1: 
这里写图片描述 
Slaver2: 
这里写图片描述

在任意能联网的浏览器输入Master的IP地址+50070 
这里写图片描述

Master+8088 
这里写图片描述

在任意一台机器上创建两个文件夹：file1.txt和file2.txt 
vi file.txt

Hello Hadoop
  • 1

vi file2.txt

Welcome to Hadoop
  • 1

然后通过dfs命令上传到HDFS上的/input目录下： 
hadoop -put file*.txt /input 
运行Hadoop命令：

首先还要创建文件夹

hadoop fs -mkdir -p /user/hduser/input

hadoop fs -put <datafile>  /user/hduser/input

 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /input/file*.txt /output/wordcount0
  • 1

这里写图片描述

查看运行结果

[root@Slaver1 ~]# hadoop fs -ls -r /output/wordcount0
Found 2 items
-rw-r--r--   3 root supergroup       2278 2017-05-01 02:43 /output/wordcount0/part-r-00000
-rw-r--r--   3 root supergroup          0 2017-05-01 02:43 /output/wordcount0/_SUCCESS
[root@Slaver1 ~]# hadoop fs -cat /output/wordcount/part-r-00000
  • 1
  • 2
  • 3
  • 4
  • 5

到这里集群已经搭建完毕，备忘！

hnust_癫狂
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop+zookeeper+hbase集群搭建配置说明
06-22
数据仓库hadoop+zookeeper+hbase集群安装方法记录，自己搭建纯手写的记录。相关软件请自行下载
Hadoop集群安装
蒙瑞文
05-22 432
安装过程： 创建用户组 groupadd hadoop  添加一个组 useradd hadoop -g hadoop  添加用户 IP的配置 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 BOOTPROTO=none ONBOOT=yes TYPE=Ethernet NETMASK=255.255.2
Hadoop2.8集群搭建
qq_43146036的博客
02-15 140
前期准备： 环境搭建完成：bs1、bs2、bs3 SSH免密登录配置完成 JDK已安装 1、上传Hadoop压缩包并解压 hadoop下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz ...
hadoop2.8.2分布式集群实战
drhrht的博客
08-16 215
本文档搭建三台hadoop的集群，其中一台为Master，两台为Slaves。Master上的进程：NameNode，SecondaryNameNode，ResourceManager。Slaves上的进程：DataNode，NodeManager。
Hadoop配置文件
NilEcho2333的博客
09-09 2561
l Hadoop的配置文件 1. Hadoop-site.xml, *-default.xml,*-site.xml, 2. Core-default.xml: 默认的核心hadoop属性文件。该配置文件位于下面JAR文件中:Hadoop-common-2.2.0.jar 3. Hdfs-default.xml : 默认的HDFS属性配置文件，文件位于下面的JAR文件中：hadoop-hdfs-2.2.0.jar 4. Mapred-default.xml ...
CentOS7 集群搭建
Better_YZQ的博客
04-05 5497
环境准备 1、VMware Workstation 16 Pro 2、CentOS-7-x86_64-DVD-2009.iso 3、SSH 连接改工具 finashell 一、安装 centos VMware安装CentOS7超详细版_Xiao J.的博客-CSDN博客_vmware安装centos7 如果网络无法打开，则检查本机上的下面两个服务是否打开。 二、配置 centos 1、更换为国内源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
centOS 6.10 hadoop+spark+hive+HBase集群搭建
07-31
hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群
从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建
08-11
适合新手，详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
非常详细的centos7.0下Hadoop2.7.1集群搭建教程
09-26
非常详细的centos7.0下Hadoop2.7.1集群搭建教程，内附自己的解决办法和提示
centos7搭建集群过程
妖怪书生的博客
03-18 4362
搭建集群
我把HADOOP_HOME这最重要的环境变量忘记了
u011495642的博客
10-23 6208
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin export JAVA_HOME=/usr/lib/jvm/default-java
指定HADOOP_HOME位置的三种方法
weixin_30486037的博客
01-25 1442
Hadoop安装时需要指定HADOOP_HOME位置。可以使用如下三种export方法：1、直接使用export命令#export HADOOP_HOME=/home/sj/hadoop-x#export JAVA_HOME=/home/sj/java.x#export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME\bin#看是否已经设好，可用命令export查看：...
Hadoop生态各组件搭建的环境配置记录汇总【超详细+Flink】
叶小刀
08-12 1284
test用户： node40:主节点 node37，node38，node39是数据节点。 python3.6.4，jdk1.8都是在/usr/local下。 zookeeper3.4.12在node37--node39节点上。 node40：安装的hive，mysql【root】，Sqoop1.99，Kafka。node40设置的HMaster，node38设置的HMaster-b...
hadoop配置文件详解
热门推荐
u013078295的博客
08-11 2万+
转载：仅仅是为了个人学习使用，记录问题，绝无他意。 网址：http://old.cuiyongjian.com/post-600.html 网上配置文件也是千奇百怪，各有异同，我们来对比总结学习下。 首先hadoop包放到一个程序目录下，例如我放到/usr/local下 完整路径为/usr/loca./hadoop-2.4.1 然后配环境变量，前提是jdk1.7已经安装好了
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 9742
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
Centos7下搭建Hadoop-2.8.4分布式集群
幸运的Alina的博客
05-10 468
由于机器原因，只拿到了三台机器，所以就先搭3台机器，一条机器做Namenode，另外2台做DataNode。 Hadoop中的管理节点和数据节点最好分开部署 数据节点在实际运行任务时负载是比较重的，很容易影响管理示例的稳定性 下面是搭建步骤： 1 修改/etc/hosts文件 这里说明下有的是把自己的hostname做了修改，改成啥master ,salver 1，salver2这样...
基于 CentOS 7 构建 LVS-NAT 群集
JohnnyG2000的博客
07-11 477
当用户请求到达 Director Server ，此时请求的数据报文会先到内核空间的 PREROUTING 链。 此时报文的源 IP 为 CIP ，目标 IP 为 VIP ； PREROUTING 检查发现数据包的目标IP是本机，将数据包送至 INPUT 链； IPVS 比对数据包请求的服务是否为集群服务，若是，修改数据包的目标 IP 地址为后端服务器 IP ，然后将数据包发至 POSTROUTING 链。 此时报文的源 IP 为 CIP ，目标 IP 为 RIP ； ...
hadoop集群搭建centos7
最新发布
08-16
要在CentOS 7上搭建Hadoop集群，可以按照以下步骤进行操作： 1. 首先，切换到Hadoop的配置目录。可以使用命令`cd /develop/server/hadoop-2.7.5/etc/hadoop/`切换到该目录。<span class="em">1</span><span class=...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值