centos7下搭建hadoop-2.7.2集群

最新推荐文章于 2024-09-01 21:08:00 发布
最新推荐文章于 2024-09-01 21:08:00 发布
阅读量83 收藏
点赞数
文章标签： 大数据 运维 java
原文链接：https://my.oschina.net/asdqwe/blog/652549
版权

网上有一些关键搭建集群的例子，有些可能不够详细，有些关键点略过了。为了让搭建者少走弯路，写一遍够详细的部署文档，供大家参考。

关键步骤：1.主机Master一台，节点分机两台。配置主机Master可以无密码SSH登录到节点分机。2.解压JDK，解压安装Hadoop，配置hdfs，mapreduce等主从关系。3.配置初始化，服务启动，检查环境运行情况。

详细安装：

  1. 环境准备，3台64位的Centos7，64位linux版的Hadoop2.7.2，64位linux版JDK7以上。

    Master：192.168.89.136

    Slave1：192.168.89.134

    Slave2：192.168.89.135

  2. 必须修改Hosts文件，哪怕所有配置文件都用IP也不行，不然最后会启动不了服务。修改三台机器： vi /etc/hosts

    192.168.89.136 hadoop01

    192.168.89.134 hadoop02

    192.168.89.135 hadoop03

   3. SSH免密码登录：因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都         生成公钥，再合并到authorized_keys
      (1)每台服务器都要设置：CentOS7默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释。
       #RSAAuthentication yes
       #PubkeyAuthentication yes
      (2)每台服务器都要设置：输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹。
      (3)合并公钥到authorized_keys文件：在Master服务器上，进入/root/.ssh目录，通过SSH命令合并，
       cat id_rsa.pub>> authorized_keys 生成 authorized_keys文件。
       ssh root@192.168.89.134 cat ~/.ssh/id_rsa.pub>> authorized_keys
       ssh root@192.168.89.135 cat ~/.ssh/id_rsa.pub>> authorized_keys

      (4)把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

       scp authorized_keys root@192.168.89.134:/root/.ssh/

       scp known_hosts root@192.168.89.134:/root/.ssh/

       scp authorized_keys root@192.168.89.135:/root/.ssh/

       scp known_hosts root@192.168.89.135:/root/.ssh/

      (5)完成。ssh root@192.168.89.134、ssh root@192.168.89.135就不需要输入密码了。

    4.三台机器安装JDK，也可以解压主机后，scp到分机。Hadoop2.7.2需要JDK7，直接解压下载的JDK并配置          变量即可。
       (1)下载"jdk-7u79-linux-x64.gz"，放到/home/java目录下
       (2)解压，输入命令，tar -zxvf jdk-7u79-linux-x64.gz
       (3)编辑/etc/profile
       export JAVA_HOME=/home/java/jdk1.7.0_79
       export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
       export PATH=$PATH:$JAVA_HOME/bin 
       (4)使配置生效，输入命令，source /etc/profile
       (5)输入命令，java -version，完成。

     5.安装Hadoop2.7，Master服务器解压并安装。
       (1)下载“hadoop-2.7.0.tar.gz”，放到/home/hadoop目录下。
       (2)解压，输入命令，tar -xzvf hadoop-2.7.0.tar.gz，/home/hadoop下会多一个hadoop-2.7.2目录。
       (3)在/home/hadoop/hadoop-2.7.2目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name。之所以把文件夹创建在这里，方便以后步骤中配置和一次性拷贝到分机。

     6.配置hadoop的配置文件信息，一共有四个配置文件，里面的IP地址全部设置成Master机器的IP地址即可。其中有一个xml文件查不到，因为是template结尾的，mv修改一下文件名，或者重新建一个xml文件都可以。四个文件都是都包含site字样。

        (1)配置/home/hadoop/hadoop-2.7.2/etc/hadoop目录下的core-site.xml文件

                <configuration>

                <property>

                        <name>fs.defaultFS</name>

                        <value>hdfs://192.168.89.136:9000</value>

                    </property>

                    <property>

                        <name>hadoop.tmp.dir</name>

                        <value>file:/home/hadoop/hadoop-2.7.2/tmp</value>

                    </property>

                    <property>

                        <name>io.file.buffer.size</name>

                        <value>131702</value>

                    </property>

                </configuration>

          (2)配置/home/hadoop/hadoop-2.7.2/etc/hadoop目录下的hdfs-site.xml文件

                 <configuration>

                    <property>

                            <name>dfs.namenode.name.dir</name>

                            <value>file:/home/hadoop/hadoop-2.7.2/dfs/name</value>

                        </property>

                        <property>

                            <name>dfs.datanode.data.dir</name>

                            <value>file:/home/hadoop/hadoop-2.7.2/dfs/data</value>

                        </property>

                        <property>

                            <name>dfs.replication</name>

                            <value>3</value>

                        </property>

                        <property>

                            <name>dfs.namenode.secondary.http-address</name>

                            <value>192.168.89.136:9001</value>

                        </property>

                        <property>

                        <name>dfs.webhdfs.enabled</name>

                        <value>true</value>

                        </property>

                    </configuration>

                (3)配置/home/hadoop/hadoop-2.7.2/etc/hadoop目录下的mapred-site.xml文件    

                        <configuration>

                            <property>

                                <name>mapreduce.framework.name</name>

                                <value>yarn</value>

                            </property>

                            <property>

                                <name>mapreduce.jobhistory.address</name>

                                <value>192.168.89.136:10020</value>

                            </property>

                            <property>

                                <name>mapreduce.jobhistory.webapp.address</name>

                                <value>192.168.89.136:19888</value>

                            </property>

                        </configuration>

                 (4)配置/home/hadoop/hadoop-2.7.2/etc/hadoop目录下的yarn-site.xml文件。    

                <configuration>

                    <property>

                        <name>yarn.nodemanager.aux-services</name>

                        <value>mapreduce_shuffle</value>

                    </property>

                    <property>

                        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

                        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

                    </property>

                    <property>

                        <name>yarn.resourcemanager.address</name>

                        <value>192.168.89.136:8032</value>

                    </property>

                    <property>

                        <name>yarn.resourcemanager.scheduler.address</name>

                        <value>192.168.89.136:8030</value>

                    </property>

                    <property>

                        <name>yarn.resourcemanager.resource-tracker.address</name>

                        <value>192.168.89.136:8031</value>

                    </property>

                    <property>

                        <name>yarn.resourcemanager.admin.address</name>

                        <value>192.168.89.136:8033</value>

                    </property>

                    <property>

                        <name>yarn.resourcemanager.webapp.address</name>

                        <value>192.168.89.136:8088</value>

                    </property>

                    <property>

                        <name>yarn.nodemanager.resource.memory-mb</name>

                        <value>768</value>

                    </property>       

                </configuration>

                7.配置三台机器：在/home/hadoop/hadoop-2.7.2/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了。这里必须在文件的最开始设置，环境变量不起作用的。
                export JAVA_HOME=/home/java/jdk1.7.0_79

             8.配置主机Mster：/home/hadoop/hadoop-2.7.2/etc/hadoop目录下的slaves，删除默认的localhost，增加3个IP，一个主机ip，两个节点ip：

                 192.168.89.136

                 192.168.89.134

                 192.168.89.135

               9.在Master服务器上进行初始化操作，到/home/hadoop/hadoop-2.7.2/目录下：
                初始化，输入命令，bin/hdfs namenode -format

              10.主机Master的hadoop初始化结束后，将配置好的Hadoop复制到各个节点对应位置上，通过scp传送，
scp -r /home/hadoop 192.168.89.134:/home/
scp -r /home/hadoop 192.168.89.135:/home/

             11.在Master服务器启动hadoop，从节点会自动启动:

                 (1)到主机Master/home/hadoop/hadoop-2.7.2/目录下               

                 (2)全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

                 (3)停止的话，输入命令，sbin/stop-all.sh

                 (4)输入命令，jps，可以看到相关服务信息。

                主机服务：

23246 NameNode

19370 JobHistoryServer

23348 DataNode

28364 Jps

23720 ResourceManager

23523 SecondaryNameNode

                     分机服务：

12330 DataNode

16078 Jps

                   12.Web访问，要先开放端口或者直接关闭防火墙，三台机器都关闭。
(1)输入命令，systemctl stop firewalld.service
(2)浏览器打开http://192.168.89.136:8088/
(3)浏览器打开http://192.168.89.136:50070/

在http://192.168.89.136:50070/下的Overview找到Live Nodes 数是3，证明有3个节点是存活的。

以上Hadoop集群的全部搭建就完成了。

解决问题不是目的，学习解决的过程和培养善于发现问题的能力。


转载于:https://my.oschina.net/asdqwe/blog/652549

chongshang8096
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于centos7.6搭建hadoop-3.1.2集群
mo_5201314的博客
07-19 393
基于centos7.6搭建hadoop-3.1.2集群 hadoop单节点安装。 Hadoop单节点的安装不需要守护进程，所以不需要安装zookeeper。 准备环境centos7.6、java1.8、hadoop-3.1.2。 首先安装虚拟机。我选择的是最小安装，这样会更节省资源，更快一些，但是有些东西会缺少，需要自己手动安装。在创建虚拟机之前点击左上角的虚拟网络编辑器。 之后安装虚拟机的...
CentOS7 从零开始搭建 Hadoop2.7集群
hangzhi的博客
09-17 9288
序言 文件准备 权限修改 配置系统环境 配置Hadoop集群 配置无密码登录 启动Hadoop 默认举例 序言 下载软件与工具包 pscp.exe : 用于从本地到目标机器的文件传输 hadoop-2.7.3.targ.gz: Hadoop 2.7 软件包 JDK 1.8: Java 运行环境 准备四台安装好CentOS Minimal 的机器，且已经配置网络环境。（只需要记住四台机器的I
hadoop-2.7.2.tar.gz
08-19
总结来说，Hadoop 2.7.2是一个强大的大数据处理工具，其在HDFS、MapReduce和YARN上的改进使得在各种Linux环境下处理大数据变得更加高效和可靠。无论是数据存储、分析还是计算，这个版本都能提供稳定的性能和广泛的...
CentOS 7+Hadoop-2.7.2的hadoop环境搭建（三）完全分布式运行模式
weixin_45739483的博客
03-15 1074
CentOS 7+Hadoop-2.7.2的hadoop环境搭建（三）完全分布式运行模式完全分布式运行模式 准备三台虚拟机 克隆虚拟机 对克隆出的虚拟机ip分配和hostname修改 编写xsync集群分发脚本 集群配置 集群部署规划 配置集群 (1)核心配置文件 (2)HDFS配置文件 (3)YARN配置文件 (4)MapReduce配置文件 (5)集群上分发配置好的Hadoop配置文件 (6)格式化NameNode SSH无密登录配置 群起集群
hadoop-2.7.2.zip
05-29
总之，这个hadoop-2.7.2.zip压缩包提供了在CentOS上搭建和测试Hadoop集群所需的一切。通过正确配置和运行，用户可以在本地环境中模拟大规模分布式计算，进一步理解和掌握Hadoop的大数据处理能力。同时，这也是学习和...
Hadoop-2.7.2集群的搭建——集群学习日记
kwongtai的博客
07-23 1951
目前在我的实验室上有三台Linux主机，因为需要参加一个关于spark数据分析的比赛，所以眼见那几台服务器没有人用，我们团队就拿来配置成集群。具体打算配置如下的集群
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程
SiccyHsiang的博客
04-22 3283
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程 文章目录CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程@[TOC](文章目录)1.虚拟机及软件准备2.CentOS虚拟机配置相关（根据自己需要而定）3.固定虚拟机ip 1.虚拟机及软件准备 VMware下载地址： https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html jdk下载地址： https://www.ora
软考攻略/超详细/系统集成项目管理工程师/基础知识分享06
weixin_46095822的博客
08-29 1112
软考攻略/超详细/系统集成项目管理工程师/基础知识分享06
大数据技术概述
weixin_51591328的博客
08-28 1286
知识点 其他
视频结构化从入门到精通——认识视频结构化
swpucwf的博客
08-28 1809
非结构化数据指的是未经处理、以原始形式存在的数据。这类数据是直接采集、记录的，包含了音频、视频等多维信息，且没有任何标签、注释或分类来表示其中的内容。非结构化数据需要进一步处理和解析，才能提取出有用的信息。定义：计算机（程序）无法直接理解，无法对其进行查询、比对、分类、计算等操作。
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
最新发布
weixin_52610848的博客
09-01 614
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
窥一斑而知全豹
xuexiaogang的专栏
08-29 1578
由于经济形势的不好，我看参展商少了一点。可能不少都是为了生计而挣扎。2023年1月明叔主持的栏目有一期特别节目《数据库诸神之战》，请来了OB、TiDB、TDSQL和TDEngine的掌门人来讨论数据库的未来，那时候结论是3年后国内健康运营的数据库公司不超过30家。目前已经快过去2年了。现在日子的确越来越难过了。现实可能和预测差不多。
基于大数据的电商平台电脑销售数据分析系统
Python极客之家
08-29 1253
本项目利用网络爬虫技术从京东电商平台采集各类品牌笔记本电脑的价格、销量、评论等数据，经过数据清洗后存入数据库，并实现电脑销售、市场占有率、价格区间等多维度的可视化统计分析，并基于多属性的特产的个性化推荐。 系统采用 Flask 框架构建后端分析服务，前端采用 Bootstrap + Echarts 实现可视化渲染，帮助商家更好地理解市场需求，从而制定有效的营销策略。
【Zookeeper】Windows下安装Zookeeper（全面）
weixin_57259781的博客
08-29 464
【Zookeeper】Windows下安装Zookeeper（全面）
window上部署kafka3.6.1，并配置sasl认证
GSON的博客
08-29 635
1 安装kafka 第一步安装kafka,并能成功启动，可参考文章Windows下安装Kafka3-CSDN博客 2修改kafka的配置文件 server.properties是kafka的主要配置文件，里面有很多参数可以调整。 主要修改如下 listeners=SASL_PLAINTEXT://127.0.0.1:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.enabled.mechanisms=PLAIN sasl.me
SparkSQL DML语句详解
SunnyRivers
08-27 1040
数据操作语句用于添加、更改或删除数据。LOAD。
西安电子科技大学研究生新生大数据
qq_30953547的博客
08-31 364
西安电子科技大学研究生新生大数据
个性化推荐系统-离线召回模型验证
zhangdonghuirjdd的博客
08-27 545
此模块旨在通过高效的数据处理与分析，预先筛选出用户可能感兴趣的内容或商品，为后续的实时推荐流程提供丰富且精准的候选集。为了确保实施效果与性能，我们将设计最简前端界面以直观展示召回结果，同时构建后端服务来处理大量数据并响应前端请求。在前端部分，将开发用户基本的交互界面，允许用户在不影响系统性能的前提下，轻松浏览和反馈召回结果，支持切换用户查询，从而辅助验证推荐算法的有效性与准确性。后端方面，以验证模型以及算法为主，验证过程中不采用离线计算框架（解析参数，判断uid是否为0，分别进行不同处理。
Kafka 到数据仓库：使用 bend-ingest-kafka 将消息加载到 Databend
Databend的博客
08-29 893
JSON模式：此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。RAW模式：在此模式下，该工具会创建一个包含uuidkoffsetkpartitionraw_data和add_time等列的表。Kafka 消息存储在raw_data列中，并将其他元数据注入到其他列中，从而保留原始消息格式并提供有用的上下文。有关 bend-ingest-kafka 的更多详细信息，请查看README。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值