centos7(vm)下hadoop2.7.2完全分布式安装验证(x86)-hadoop3节点集群(2副本)

最新推荐文章于 2023-03-11 20:20:21 发布
最新推荐文章于 2023-03-11 20:20:21 发布
阅读量819 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gml03361/article/details/53769755
版权

1.vm安装(略)

centos7 操作系统,  ip地址分别为 192.168.1.150(namenode),192.168.1.151(datanode1),192.168.1.152(datanode2)

2.软件下载

hadoop-2.7.2.tar

jdk-8u77-linux-x64.tar


useradd hadoop  #增加hadoop用户，用户组、home目录、终端使用默认
    passwd  hadoop  #修改密码
    建议在学习阶段将hadoop用户加入sudo权限管理，简单方法如下
        1.执行visudo命令
        2.在root    ALL=(ALL)      ALL 后加入
            hadoop    ALL=(ALL)      ALL
    master，node1，node2上进入hadoop用户：
    su - hadoop


第一步:java环境变量,hadoop环境变量(三节点)

第一台主机

[root@localhost ~]# mkdir java
[root@localhost ~]# mkdir hadoop

[root@localhost ~]# cp jdk-8u77-linux-x64.tar.gz java/
[root@localhost ~]# cp hadoop-2.7.2.tar.gz hadoop

[root@localhost ~]# cd java/
[root@localhost java]# tar -zxvf jdk-8u77-linux-x64.tar.gz
[root@localhost java]# vi /etc/profile

#JAVA
export JAVA_HOME=/root/java/jdk1.8.0_77
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

wq!

[root@localhost java]# source /etc/profile

[root@localhost java]# java -version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

[root@localhost ~]# cd hadoop/
[root@localhost hadoop]# tar -zxvf hadoop-2.7.2.tar.gz

[root@localhost hadoop]# vi /etc/profile

#HADOOP
export HADOOP_HOME=/root/hadoop/hadoop-2.7.2
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

wq!

[root@localhost java]# source /etc/profile

第二台主机

[root@localhost ~]# mkdir java
[root@localhost ~]# mkdir hadoop

[root@localhost ~]# cp jdk-8u77-linux-x64.tar.gz java/
[root@localhost ~]# cp hadoop-2.7.2.tar.gz hadoop

[root@localhost ~]# cd java/
[root@localhost java]# tar -zxvf jdk-8u77-linux-x64.tar.gz
[root@localhost java]# vi /etc/profile

#JAVA
export JAVA_HOME=/root/java/jdk1.8.0_77
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

wq!

[root@localhost java]# source /etc/profile

[root@localhost java]# java -version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

[root@localhost ~]# cd hadoop/
[root@localhost hadoop]# tar -zxvf hadoop-2.7.2.tar.gz

[root@localhost hadoop]# vi /etc/profile

#HADOOP
export HADOOP_HOME=/root/hadoop/hadoop-2.7.2
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

wq!

[root@localhost java]# source /etc/profile


第三台主机

[root@localhost ~]# mkdir java
[root@localhost ~]# mkdir hadoop

[root@localhost ~]# cp jdk-8u77-linux-x64.tar.gz java/
[root@localhost ~]# cp hadoop-2.7.2.tar.gz hadoop

[root@localhost ~]# cd java/
[root@localhost java]# tar -zxvf jdk-8u77-linux-x64.tar.gz
[root@localhost java]# vi /etc/profile

#JAVA
export JAVA_HOME=/root/java/jdk1.8.0_77
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

wq!

[root@localhost java]# source /etc/profile

[root@localhost java]# java -version
java version "1.8.0_77"
Java(TM) SE Runtime Environment (build 1.8.0_77-b03)
Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

[root@localhost ~]# cd hadoop/
[root@localhost hadoop]# tar -zxvf hadoop-2.7.2.tar.gz

[root@localhost ~]# cd hadoop/
[root@localhost hadoop]# tar -zxvf hadoop-2.7.2.tar.gz

[root@localhost hadoop]# vi /etc/profile

#HADOOP
export HADOOP_HOME=/root/hadoop/hadoop-2.7.2
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

wq!

[root@localhost java]# source /etc/profile

第二步:修改hostname主机名称(三节点 )

[root@localhost ~]# vi /etc/hostname
namenode

wq!

重新登陆

[root@namenode ~]#

[root@localhost ~]# vi /etc/hostname
datanode1

wq!

重新登陆

[root@datanode1 ~]#

[root@localhost ~]# vi /etc/hostname
datanode2

wq!

重新登陆

[root@data2node ~]#

第三步:修改hosts文件(三节点)

[root@namenode ~]# vi /etc/hosts

192.168.1.150 namenode
192.168.1.151 datanode1
192.168.1.152 datanode2

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
..1       localhost localhost.localdomain localhost6 localhost6.localdomain6
~

wq!

[root@datanode1 ~]# vi /etc/hosts

192.168.1.150 namenode
192.168.1.151 datanode1
192.168.1.152 datanode2

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
..1       localhost localhost.localdomain localhost6 localhost6.localdomain6
~

wq!

[root@datanode1 ~]# vi /etc/hosts

192.168.1.150 namenode
192.168.1.151 datanode1
192.168.1.152 datanode2

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
..1       localhost localhost.localdomain localhost6 localhost6.localdomain6
~

wq!

[root@datanode2 ~]# vi /etc/hosts

namenode 192.168.1.150
datanode1 192.168.1.151
datanode2 192.168.1.152

wq!

第四步:ssh免密码登录(三节点)

[root@namenode ~]# ssh-keygen -t rsa   一直回车即可

[root@datanode1 ~]# ssh-keygen -t rsa

[root@datanode2 ~]# ssh-keygen -t rsa

[root@namenode ~]# cd /root/.ssh/

[root@namenode .ssh]# cat id_rsa.pub>> authorized_keys

[root@namenode .ssh]# ssh root@192.168.1.151 cat ~/.ssh/id_rsa.pub >> authorized_keys
The authenticity of host '192.168.1.151 (192.168.1.151)' can't be established.
ECDSA key fingerprint is 0a:16:4e:24:58:e0:37:e8:a5:01:91:01:a6:2f:f3:cb.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.1.151' (ECDSA) to the list of known hosts.
root@192.168.1.151's password:
[root@namenode .ssh]# ssh root@192.168.1.152 cat ~/.ssh/id_rsa.pub >> authorized_keys
The authenticity of host '192.168.1.152 (192.168.1.152)' can't be established.
ECDSA key fingerprint is 0a:16:4e:24:58:e0:37:e8:a5:01:91:01:a6:2f:f3:cb.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.1.152' (ECDSA) to the list of known hosts.
root@192.168.1.152's password:
[root@namenode .ssh]# ll
total 16
-rw-r--r--. 1 root root 1187 Dec 21 01:37 authorized_keys
-rw-------. 1 root root 1679 Dec 21 01:32 id_rsa
-rw-r--r--. 1 root root  395 Dec 21 01:32 id_rsa.pub
-rw-r--r--. 1 root root  350 Dec 21 01:37 known_hosts

[root@namenode .ssh]# scp authorized_keys  root@192.168.1.151:/root/.ssh/

[root@namenode .ssh]# scp known_hosts   root@192.168.1.151:/root/.ssh/

[root@namenode .ssh]# scp authorized_keys  root@192.168.1.152:/root/.ssh/

[root@namenode .ssh]# scp known_hosts   root@192.168.1.152:/root/.ssh/

[root@namenode .ssh]# ssh 192.168.1.151
Last login: Wed Dec 21 01:53:51 2016 from namenode
[root@datanode1 ~]# exit
logout
Connection to 192.168.1.151 closed.
[root@namenode .ssh]# ssh 192.168.1.152
Last login: Wed Dec 21 01:53:56 2016 from namenode
[root@datanode2 ~]# exit
logout
Connection to 192.168.1.152 closed.
[root@namenode .ssh]#

第五步:配置hadoop

a.在/root/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name

[root@namenode hadoop]# mkdir tmp
[root@namenode hadoop]# mkdir hdfs
[root@namenode hadoop]# cd hdfs/
[root@namenode hdfs]# mkdir data
[root@namenode hdfs]# mkdir name
[root@namenode hdfs]# cd
[root@namenode ~]# cd hadoop/
[root@namenode hadoop]# ll
total 207084
drwxr-xr-x. 9 10011 10011      4096 Jan 26  2016 hadoop-2.7.2
-rw-r--r--. 1 root  root  212046774 Dec 21 00:57 hadoop-2.7.2.tar.gz
drwxr-xr-x. 4 root  root         28 Dec 21 02:05 hdfs
drwxr-xr-x. 2 root  root          6 Dec 21 02:05 tmp
[root@namenode hadoop]#

b.配置core-site.xml

[root@namenode hadoop]# cd /root/hadoop/hadoop-2.7.2/etc/hadoop/

[root@namenode hadoop]# vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.150:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

wq!

c.配置hdfs-site.xml

[root@namenode hadoop]# cd /root/hadoop/hadoop-2.7.2/etc/hadoop/

[root@namenode hadoop]# vi hdfs-site.xml


<configuration>
  <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/root/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.1.150:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>

wq!

d.配置mapred-site.xml

[root@namenode hadoop]# cd /root/hadoop/hadoop-2.7.2/etc/hadoop/

[root@namenode hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@namenode hadoop]# vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.1.150:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.1.150:19888</value>
    </property>
</configuration>

wq!

e.配置yarn-site.xml

[root@namenode hadoop]# cd /root/hadoop/hadoop-2.7.2/etc/hadoop/

[root@namenode hadoop]# vi yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.1.150:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.1.150:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.1.150:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.1.150:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.1.150:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>

</configuration>

wq！

f.hadoop-env.sh、yarn-env.sh的JAVA_HOME

[root@namenode hadoop]# vi hadoop-env.sh
export JAVA_HOME=/root/java/jdk1.8.0_77

wq!

[root@namenode hadoop]# vi yarn-env.sh
 JAVA_HOME=/root/java/jdk1.8.0_77

wq!

第六步：配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves，删除默认的localhost，增加2个从节点

[root@namenode hadoop]# vi slaves

192.168.1.151
192.168.1.152
wq！

第七步：将配置好的Hadoop复制到各个节点对应位置上，通过scp传送，

[root@namenode ~]# scp -r hadoop root@192.168.1.151:/root/

[root@namenode ~]# scp -r hadoop root@192.168.1.152:/root/

第八步： 启动hadoop

a. 初始化，输入命令，bin/hdfs namenode -format    格式化

[root@namenode hadoop-2.7.2]# bin/hdfs namenode -format

16/12/21 02:36:31 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1917967227-192.168.1.150-1482258991239
16/12/21 02:36:31 INFO common.Storage: Storage directory /root/hadoop/dfs/name has been successfully formatted.
16/12/21 02:36:32 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

b. 全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh


(3)停止的话，输入命令，sbin/stop-all.sh


(4)输入命令，jps，可以看到相关信息

启动

[root@namenode sbin]# jps
12487 SecondaryNameNode
13223 Jps
12234 NameNode
12750 ResourceManager
[root@namenode sbin]#


[root@datanode1 ~]# jps
12544 Jps
12018 DataNode
12199 NodeManager


[root@datanode2 ~]# jps
12566 Jps
12216 NodeManager
12041 DataNode
[root@datanode2 ~]#




IT狗-戚
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop深入研究:(三)——hdfs数据流
独自登高楼 望断天涯路
06-12 1万+
以下几个小节并补独立，都是相辅相成的，要结合来看，你就会发现很多有趣的地方。转载请注明来源地址：http://blog.csdn.net/lastsweetop/article/details/90656671.拓扑距离这里简单讲下hadoop的网络拓扑距离的计算在大数量的情景中，带宽是稀缺资源，如何充分利用带宽，完美的计算代价开销以及限制因素都太多。hadoop给出了这样的解决方案：计算两个节点
只知道Hadoop 3副本容错？用这种方式给公司节省五十万硬盘成本
大数据实验室
01-30 550
目录 EC的设计目标 EC背景 EC在RAID应用 EC与HDFS EC在Hadoop架构的调整 NameNode元数据存储 Client DataNode EC存储方案 EC编码和解码 容错性和存储效率 连续存储还是条纹单元存储 EC策略关键属性 EC策略命名 online-EC 自定义EC策略 XOR算法与RS算法 部署HDFS EC 集群配置要求 EC配置 EC命令 验证测试 新上传一个293M的文件到冷数据目录 使用distcp迁移数据 基于H.
hadoop默认对3个副本的存储策略和执行策略：
songlh1234的博客
07-10 1560
1，首先要先了解下什么是rack（机架）集群，一个集群有多个机架，一个机架有多个机器，一个机器一个datanode或namenode节点。通常一个机架内的机器之间的网络速度会高于跨机架机器之间的网络速度。 2，但是要同时保持副本存储策略的容错性和高效性，第一副本：放置在上传文件的DN上（就是执行‘hadoop fs -put 文件名’上传文件命令的机器上，本地文件上传到同一台机器自然要快一点），如果是集群外提交，则随机挑选一台；第二副本：放置在第一副本不同机架的不同节点上；第三副本，放置在第二副本相同机架的
centos7(vm)下hadoop2.7.2 3节点集群(2副本)+flume1.4.0版本分布式 log收集在本地（x86）
gml03361的博客
12-22 747
1.vm安装(略) 2.hadoop 2.7.2(略)----详细配置见本人blog centos7(vm)下hadoop2.7.2完全分布式安装验证(x86)-hadoop3节点集群(2副本) 3. 组网结构  192.168.1.150     192.168.1.151，192.168.1.152 三个节点分别上传flume1.4.0  解压 192.168.1.150 作为
-大数据入门-2-Hadoop-HDFS架构，副本放置策略
chen_2_2的博客
07-13 277
1.HDFS架构 3.1 HDFS 主从架构 3.2 RACK 机架 案例： 一个机架正常是10个服务器 如果带GPU5个的服务器，GPU耗电。 HDFS集群一般10个节点 或30个节点 ，也有100个节点以下。取决于规划。 机架不会让他发挥作用，default机架， CDH安装默认的，方便管理。 NN:名称节点...
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程
SiccyHsiang的博客
04-22 3306
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程 文章目录CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程@[TOC](文章目录)1.虚拟机及软件准备2.CentOS虚拟机配置相关（根据自己需要而定）3.固定虚拟机ip 1.虚拟机及软件准备 VMware下载地址： https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html jdk下载地址： https://www.ora
centos7 64位下编译Hadoop2.7.2源码库文件
12-31
编译生成的库文件通常位于`hadoop-dist/target/hadoop-2.7.2/lib/native/Linux-amd64-64`目录下，这个目录下的文件即为"native"，包含了Hadoop运行所需的本地库。这些库文件对于Hadoop在特定操作系统和架构上的高效...
Hadoop 2.7.2 分布式集群搭建-操作指南（不断更新）
weixin_42900056的博客
05-21 958
文章目录1、Hadoop运行环境的搭建1.1 虚拟机环境准备1.1.1 克隆虚拟机1.1.2 克隆完成后的配置1.1.2.1 修改克隆后虚拟机的ip1.1.2.2 修改IP地址1.1.2.3 修改主机名1.1.2.4 关闭防火墙1.1.2.5 创建psy831用户并配置root权限1.1.2.6 在/opt目录下创建文件夹1.2 安装JDK1.3 安装Hadoop1.4 Hadoop完全分布式的配置1.4.1 编写集群分发脚本xsync1.4.2 SSH无密登陆配置1.4.3 集群配置文件的配置（1）核心配
CentOS7x86-64bit+JDK1.8+hadoop2.7.2安装部署.docx
09-03
在本文中，我们将详细探讨如何在CentOS 7 x86-64位操作系统上安装配置Java JDK 1.8和Hadoop 2.7.2。这是一个关键的步骤，因为Hadoop是一个分布式计算框架，它依赖于Java来运行其核心服务。 首先，确保你的系统是...
Hadoop
g3230863的博客
11-21 880
Hadoop
Hadoop知识点总结
最新发布
weixin_50528552的博客
03-11 883
Hadoop知识总结
关于hadoop副本数的思考
zhou920786312的博客
03-12 1649
问题：Linux上我配置的副本数是2，下面这个操作，上传文件到hdfs,为什么副本是3？ 原因： 这是一个配置文件优先级的问题 副本数由客户端的参数dfs.replication决定（优先级： conf.set &gt; 自定义配置文件 &gt; jar包中的hdfs-default.xml） 和Linux上的配置无关，这告诉我们hadoop的Linux操作只使用linxu上的...
hadoop2.7.2详细完整配置
shuke1991的博客
07-15 1244
我的hadoop2.7安装目录/usr/local/hadoop 配置文件在/usr/local/hadoop/etc/hadoop，几个重要的配置文件分别为： slaves core-site.xml yarn-site.xml mapred-site.xml hdfs-site.xml 以上配置完毕后，进入安装目录/usr/loca
Hadoop维护实战-设置hdfs副本数 dfs.replication
weixin_34378045的博客
02-15 1743
Hadoop维护实战设置hdfs副本数 dfs.replication有个临时应用，使用临时调配的机器，机器磁盘差别数十倍。在使用hadoop存储数据时导致小磁盘机器使用率达80%多，而大磁盘机器使用不过才10%多一点。明显的hadoop集群各datanode空间使用率很不均衡，需要重新balance。于是想到了hdfs的均衡器balancer。sbin/start-bal...
hadoop 文件存放策略_hadoop实战4--(hdfs读流程，hdfs写流程，副本放置策略)
weixin_39876856的博客
12-23 184
hadoop实战4--(hdfs读流程，hdfs写流程，副本放置策略)su - hadoopjpscd app/hadoop-2.6.0-cdh5.7.0bin/hdfs dfs -ls一、本机被挖矿程序入侵处理？1.top查看占用的进程2. ps -ef | grep 7509 #查看端口对应的脚本3.查看是否有定时任务，并编辑查看内容可以看到定时任务中的内容，将其注释掉#wget -q ...
修改hdfs的副本数量
热门推荐
magina_lil的博客
03-16 1万+
线上存储不够，将HDFS副本数由3减为2.重启集群无效。该参数是clinet端有效，既对新写入的数据设置2个副本。已存在的数据副本还是3个执行命令将某目录下数据副本改为2hadoop dfs -setrep -w 2 -R /user执行 hdfs balancer 均衡集群数据参考资料：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dis...
从0开始学大数据（6）：HDFS的数据流
Martin.Mu `s Special Column
03-18 352
前言 通过上一章《从0开始学大数据（5）：HDFS文件系统和常用API》我们学习了一些常用的API进行分析，这章我们来分析HDFS的数据流的写入和读取流程。 1 HDFS写数据的流程 1.1 剖析文件写入 1.2 网络拓扑概念 在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。 我们在平台的节点中，选取两个节点A和B并且向上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值