2.7.2hadoop分布式安装

最新推荐文章于 2022-07-21 16:50:24 发布
最新推荐文章于 2022-07-21 16:50:24 发布
阅读量281 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lms1256012967/article/details/77848310
版权

本篇博客对hadoop分布式安装做一下说明：

安装包

JDK安装

hadoop安装

ssh安全登录

关闭防火墙

注意事项

安装包

jdk-8u181-linux-x64.tar.gz

hadoop-2.7.7.tar.gz

JDK安装

1)      解压：Tar –xzvf  jdk-8u181-linux-x64.tar.gz

jdk包重命名为jdk8

3)      生效:source /etc/profile

hadoop安装

1)      解压：tar –xzvf hadoop-2.7.7.tar.gz

2)      环境配置:

3)      Hadoop配置文件:

在对core-site.xml做配置的时候，其中属性hadoop.tmp.dir作为namenode和datanode文件系统的临时存放目录。当服务重启（start-all.sh）后，/tmp 下的目录被清空，Hadoop无法找到dfs/name 这个dfs文件系统的域名空间文件,就会报错。
hadoop.tmp.dir 是 hadoop文件系统依赖的基本配置，很多配置路径都依赖它。

      在core-site.xml中配置 hadoop.tmp.dir 路径到持久化目录。

Core-site.xml:

<property>

 <!—hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中，name存放集群的文件系统，data存放本地的文件系统-->

       <name>hadoop.tmp.dir</name>

       <value>file:/hadoop/tmp</value>

 </property>

 

 <property>

         <name>io.file.buffer.size</name>

         <value>131702</value>

 </property>

 <!--  fs.default.name -这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。-->

 <property>

 <name>fs.defaultFS</name>

 <value>hdfs://master:9000</value>

 </property>

Hdfs-site.xml:

<!--  dfs.data.dir - 这是DataNode结点被指定要存储数据的本地文件系统路径-->

<property>

       <name>dfs.namenode.name.dir</name>

       <value>file:/hadoop/hdfs/name</value>

</property>

<property>

dfs.name.dir - 这是NameNode结点存储hadoop文件系统信息的本地系统路径。这个值只对NameNode有效，DataNode并不需要使用到它。

       <name>dfs.datanode.data.dir</name>

       <value>file:/hadoop/hdfs/data</value>

</property>

      <!—解决：org.apache.hadoop.security.AccessControlException:Permission                                                 denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x。

因为Eclipse使用hadoop插件提交作业时，会默认以 DrWho 身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/hadoop ,  由于 DrWho 用户对hadoop目录并没有写入权限，所以导致异常的发生。解决方法为：放开 hadoop 目录的权限， 命令如下 ：$ hadoop fs -chmod 777 /user/hadoop-->

               <property> 

                   <name>dfs.permissions</name>

                   <value>false</value>

<description>

                      If "true", enable permission checking in HDFS. If "false", permission checking is turned                     off,   but all other behavior is unchanged. Switching from one parameter value to                                   the other does   not change the mode, owner or group of files or directories

              </description>

 

        </property>

<property>

       <name>dfs.webhdfs.enabled</name>

       <value>true</value>

</property>

 

<property>

       <name>dfs.replication</name>

       <value>2</value>

</property>

<property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>master:9001</value>

</property>

Mapred-site.xml：

<property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>

<property>

 <name>mapreduce.jobhistory.address</name>

 <value>master:10020</value>

 </property>

<property>

 <name>mapreduce.jobhistory.webapp.address</name>

 <value>master:19888</value>

 </property>

Yarn-site.xml:

<property>

       <name>yarn.resourcemanager.hostname</name>

       <value>master</value>

 </property>

 <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

 </property>

<property>

       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

<property>

       <name>yarn.resourcemanager.scheduler.address</name>

       <value>master:8030</value>

 </property>

<property>

       <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>master:8035</value>

 </property>

<property>

       <name>yarn.resourcemanager.admin.address</name>

       <value>master:8033</value>

 </property>

<property>

       <name>yarn.resourcemanager.webapp.address</name>

       <value>master:8088</value>

 </property>

hadoop-env.sh:

export JAVA_HOME=/usr/local/jdk7将$JAVA_HOME改为exportJAVA_HOME=/usr/local/jdk7

 

 

1.      配置slaves文件，把所有的datanode节点配置到slaves文件中，各占一行

关闭防火墙

第一种关闭防火墙操作指令

serviceiptables stop;查看是否关闭：service iptables status;关闭防火墙自动运行,执行命令:chkconfig iptables off;查看是否关闭：chkconfig –list | grep iptables

第二种关闭防火墙操作指令

systemctl stop firewalld.service 停止防火墙

systemctl disable firewall.service 禁止开机自启动

firewall-cmd-state 查看防火墙状态

注意事项

 

    hadoop所安装的服务器主从节点用户名最好一致,这样免密码登陆时就会默认采用统一的用户名

 

1.1  Datanode没启动

当进行多次初始化的时候，datanode服务器上所属的集群ID clusterID跟namenode的clusterID不一致。Datanode也可以配置多个目录，每个目录保存的内容不一致，不是对当前文件存放路径信息的备份

hdfs dfsadmin –report查询不到存活的datanode节点

Namenode和datanode服务器上的防火墙都没关闭

ssh安全登录

集群中的每一个节点都能自登陆。这里对ssh安全登录原理说一下：ssh可以生成两个密钥对，可以看成是对数据传输的一种加密算法，一个是私密，一个是公密。私密存放在本地服务器，公密可以放到其他服务器的认证文件authorized_keys中。当存放有私密的服务器安全登录带有公密的服务器的时候，会发送加密数据，带有公密的服务器根据解密算法，解读到私密发来的数据，通过自己的加密，再把数据返回到带有私密的服务器上，这样两个服务器就可以免密码进行数据传输了。

1)      Ssh-keygen –t rsa –P ‘’

2)      Cd ./.ssh

3)      Cat id_rsa.pub >>  authorized_keys

4)      Chmod 600 authorized_keys

 

 

小冷在努力
关注
专栏目录
Hadoop2.7.2伪分布式安装步骤
Andywu2019的博客
12-01 194
安装Hadoop的准备工作： 1、修改/etc/hosts 2、配置JDK 3、关闭防火墙 4、配置SSH（免密码登录） # tar zxf hadoop-2.7.2.tar.gz （安装及配置Hadoop） 修改配置文件： cd /opt/hadoop/hadoop-2.7.2/etc/hadoop/ 修改配置文件： 1、core-site.xml <configuration> <property> <name>fs.default...
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程
SiccyHsiang的博客
04-22 3315
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程 文章目录CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程@[TOC](文章目录)1.虚拟机及软件准备2.CentOS虚拟机配置相关（根据自己需要而定）3.固定虚拟机ip 1.虚拟机及软件准备 VMware下载地址： https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html jdk下载地址： https://www.ora
hadoop2.7完全分布式安装
chinacmt的博客
12-21 493
安装准备操作系统: Centos 7 三台机器(hadoop-0为master)：hadoop-0:192.168.116.130 hadoop-1:192.168.116.131 hadoop-2:192.168.116.132软件包： hadoop下载地址: http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3
分布式安装Hadoop2.7(适用于2.x版本)
hustsselbj的专栏
06-15 1143
原文出自：http://www.aboutyun.com/thread-7684-1-1.html 写的非常完整，特此转载，另外补充一些锦上添花的东西如pssh。 准备工作： 1）配置ssh无密码访问 hadoop和pssh都需要。 在Master上生成一个密钥对，包括一个公钥（如.ssh/id_rsa.pub）和一个私钥，而后将公钥复制到所有的Salve上（追加到.ssh/authori
在CentOS7上实现Hadoop2.7.3完全分布式的安装部署（小白版）
u013711983的博客
05-14 3811
作为一个小小白，硬着头皮在安装部署这个分布式计算平台的过程中，虽然看到了很多博客，但是很多小坑也是令人十分头痛。这篇博客，从小小白的角度出发，来讲解如何在CentOS中，来部署安装完全分布的Hadoop2.7.3。第一步：安装虚拟机以及Linux系统Hadoop官网上推荐使用Linux系统作为开发测试和生产环境的平台。因此，首先安装VMware软件并进行破解，直接搜索下载破解即可。其次，下载Lin...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
weixin_34357267的博客
07-25 351
写在前边的话： 最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发 hadoop伪分布部署参考：点击打开链接 hadoop单机版部署参考：点...
超详细从零记录Hadoop2.7.3完全分布式集群部署过程
weixin_34279246的博客
10-27 623
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日） 主机名/hostname IP 角色 hadoop1 192.168.193.131 ...
hadoop2.7.2分布式集群搭建(三台)
PeiBoos的博客
07-21 1010
【代码】hadoop2.7.2分布式集群搭建(三台)
2.7.2 Hadoop本地库64位
11-22
当执行Hadoop的HDFS（Hadoop分布式文件系统）相关命令时，如果缺少这些本地库，可能会出现"fail to load native-hadoop"的错误，提示系统无法找到相应的库文件。 Hadoop的本地库是可选的，但对性能优化至关重要，...
基于Hadoop分布式集群搭建方法研究.pdf
08-08
基于Hadoop分布式集群搭建方法研究的知识点包含以下几个方面： 1. Hadoop简介与大数据分布式基础架构： Hadoop是一个开源的大数据平台，由Apache软件基金会支持。它包括HDFS（Hadoop分布式文件系统）和MapReduce...
Hadoop-2.7.3完全分布式集群搭建（Centos7系统）
孙大圣的博客
06-03 9149
实验环境Centos7 使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode，3个datanode 192.168.159.101 master 192.168.159.102 node1 192.168.159.103 node2 192.168.159.104 node3 1.首先做好准备工作 下载好对应的hadoop和jdk版本 ...
Hadoop 2.7.7 完全分布式安装
Sandy
08-16 1万+
环境准备： Centos7 64位 JDK1.8 hadoop-3.x.tar.gz 服务器规划 192.168.222.3 hadoop-namenode 192.168.222.4 hadoop-yarn 192.168.222.5 hadoop-datanode1 192.168.222.6 hadoop-datanode2 192.1...
Hadoop2.7.2之集群搭建（单机）
热门推荐
_阿坤的博客
05-19 1万+
首先新建一台虚拟主机，如果你还不会请参考 Vm配置安装CentOS-7-Minimal 然后安装JAVA运行环境，如果你还不会请参考 CentOS7 安装 Java 8 以及Tomcat8 开始配置Hadoop2.7.2 单机模式： 参考：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/Sing
基于hadoop2.7集群的Spark2.0，Sqoop1.4.6，Mahout0.12.2完全分布式安装
weixin_34125592的博客
07-28 262
写在前边的话 hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客 基本环境： CentOS 6.5，Hadoop 2.7，Java 1.7 Hive 2.0.0，Zookeeper 3.4.8， Hbase 1.2.2 ...
hadoop配置文件
CHEN的博客笔记
11-19 5107
安装前的工作： jdk 集群中节计算机互联互通 关闭防火墙 节点间的计算机免密码登录（authorized_keys认证文件root用户存放在/root/.ssh/） (User用户 /home/user/.ssh/) A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys 产生 安装hadoop Bin目录-命令eg : hadoop namenode -format Sbin目录-各种启动文件\停止服务 Etc/hadoop/ 各种配置文件 1.hadoo
HDFS性能优化
小冷在努力~
09-10 6250
分布式文件系统是在多个节点上做的数据文件的部署，所以，当多个节点之间要做数据的传输通信时，就要有一个文件目录的管理者和网络带宽的使用。当namenode的可使用的内存空间和网络带宽可使用率非常大时，实现节点之间的数据快速传输通信是非常可观的。这里，就对如何提高hdfs性能做如下优化介绍。   1. Hdfs存档/归档，减少namenode内存空间的使用   存档是用来备份的时候标识用的，说...
MapReduce学习总结
小冷在努力~
04-15 5440
MapReduce是一种分布式计算框架，又称并行计算框架，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，这里用户只需要实现map()和reduce()两个函数，即可实现分布式计算，听起来是不是感觉很简单的样子 如果要对MR有更深入的了解，就需要对MR的执行流程有更深入的了解了。这里先对MR执行流程做一个理论的介绍，之后举例论证这些流程，最后代码实现。 MR
HDFS文件创建和存储
小冷在努力~
09-10 5143
在对上篇hdfs网络拓扑与机架感知                              有了了解之后，现在对HDFS文件创建和存储过程做一个基础的介绍。 HDFS在文件创建和存储的过程中，需要考虑带宽和可靠性。如果在hdfs集群中选出datanode列表作为文件的存储节点呢？上篇已经介绍说了通过机架感知策略实现的。所以，在接下来的文件创建和存储过程中，已经拿到了文件存储的datanode列
hdfs网络拓扑与机架感知
小冷在努力~
09-10 1458
在了解hdfs创建文件之前，需要对hdfs网络拓扑有一个浅显的认知，继而对机架感知做一个简单的介绍。 在海量数据处理中，其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法：把网络看作一棵树，两个节点间的距离是它们到最近共同祖先的距离总和。该树中的层次是没有预先设定的，但是相对于数据中心、机架、正在运行的节点，通常
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值