Hadoop以及伪分布式+完全分布式的搭建

最新推荐文章于 2024-08-02 11:10:24 发布
最新推荐文章于 2024-08-02 11:10:24 发布
阅读量288 收藏 1
点赞数
分类专栏： Hadoop 文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31783363/article/details/103289104
版权

一、概述

  1. Hadoop是Apache提供的一套开源的、可靠的、可扩展(伸缩)的、用于进行分布式存储和计算的框架
  2. Hadoop的版本非常混乱

二、发展历程

  1. 创始人：Doug Cutting和Mike Caferalla
  2. 在2002年，Doug和Mike设计一套搜索引擎Nutch，爬取了全网的10亿个网页的数据
  3. 在2003年，Google发表了一篇论文（GFS）阐述了分布式存储的原理，但是Google并没有公开这个框架，Doug根据这篇论文设计实现了NDFS(Nutch Distributed File System)
  4. 在2004年，Google发表了一篇论文阐述了分布式计算的原理，Doug根据这篇论文设计实现了MapReduce
  5. 在Nutch0.8版本的时候，将NDFS和MapReduce从Nutch中分离出来形成了Hadoop，将NDFS更名为HDFS
  6. 在2007年，Doug携带Hadoop入职了Yahoo!
  7. Doug在雅虎工作期间，主持设计了HBase、Pig等框架
  8. Yahoo将Hadoop等框架贡献给了Apache

三、模块

  1. Hadoop Common：基本模块，用于支持其他模块
  2. Hadoop Distributed Filesytem：分布式存储框架
  3. Hadoop Yarn：任务调度和集群资源管理
  4. Hadoop MapReduce：分布式计算
  5. Hadoop Ozone：对象存储
  6. Hadoop submarine：机器学习引擎

四、版本

  1. Hadoop1.0：Common、HDFS、MapReduce
  2. Hadoop2.0：Common、HDFS、MapReduce、Yarn。Hadoop2.0和Hadoop1.0不兼容
  3. Hadoop3.0：Common、HDFS、MapReduce、Yarn、Ozone，最新的版本中包含了Submarine

Hadoop伪分布式搭建

  1. 关闭防火墙
    service iptables stop
    chkconfig iptables off
  2. 需要修改主机名，要求主机名中没有_和-
    vim /etc/sysconfig/network
    修改HOSTNAME选项，例如
    HOSTNAME=hadoop01
    保存退出，重新生效
    source /etc/sysconfig/network
  3. 将IP和主机名进行映射：
    vim /etc/hosts
    添加IP 主机名，例如：
    192.168.245.130 hadoop01
    保存退出
  4. 重启
    reboot
  5. 产生密钥
    ssh-keygen
    免密互通
    ssh-copy-id root@hadoop01
    云主机密码：tarena2017Up;
  6. 安装JDK
  7. 下载并且解压Hadoop
    wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hadoop-2.7.1_64bit.tar.gz
    tar -xvf hadoop-2.7.1_64bit.tar.gz
  8. 进入hadoop安装的目录的etc/hadoop目录下
    cd hadoop-2.7.1/etc/hadoop
  9. 修改hadoop-env.sh
    vim hadoop-env.sh
    修改：
    export JAVA_HOME=/home/presoftware/jdk1.8
    export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop
    保存退出，并且重新生效
    source hadoop-env.sh
  10. 编辑core-site.xml
    vim core-site.xml
    添加：

    fs.defaultFS
    hdfs://hadoop01:9000


    hadoop.tmp.dir
    /home/software/hadoop-2.7.1/tmp
  11. 编辑hdfs-site.xml
    vim hdfs-site.xml
    添加:

    dfs.replication
    1
  12. 复制mapred-site.xml.template
    cp mapred-site.xml.template mapred-site.xml
    编辑mapred-site.xml
    vim mapred-site.xml
    添加：

    mapreduce.framework.name
    yarn
  13. 编辑yarn-site.xml
    vim yarn-site.xml
    添加：

    yarn.resourcemanager.hostname
    hadoop01


    yarn.nodemanager.aux-services
    mapreduce_shuffle
  14. 编辑slaves文件
    vim slaves
    添加主机名，例如：
    hadoop01
  15. 配置环境变量
    vim /etc/profile
    添加：
    export HADOOP_HOME=/home/software/hadoop-2.7.1
    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
    保存退出，并且重新生效
    source /etc/profile
  16. Hadoop第一次启动之前需要格式化：
    hadoop namenode -format
  17. 启动Hadoop
    start-all.sh
    如果启动成功，则通过jps命令，能查看到6个进程：
    Jps
    NameNode
    DataNode
    SecondaryNameNode
    ResourceManager
    NodeManager
    可以通过50070以及8088端口访问

错误：
1. 如果少了XXXNode，那么修改core,hdfs，删除hadoop-2.7.1/tmp，然后重新格式化重新启动
2. 如果XXXXManager，那么修改mapred,yarn，重新启动
3. 命令找不到，hadoop-env.sh配置错误，profile配置错了

完全分布式搭建

***** 全部三个节点 *****

  1. 关闭防火墙
    service iptables stop
    chkconfig iptables off
  2. 修改主机名，Hadoop主机名中不能出现_和-
    vim /etc/sysconfig/network
    修改其中的HOSTNAME属性的值，例如HOSTNAME=hadoop01
    修改完成之后保存退出，然后需要重新生效
    source /etc/sysconfig/network
  3. 需要将主机名和ip进行映射
    vim /etc/hosts
    添加主机名 IP映射，例如：
    192.168.245.130 hadoop01
    192.168.245.131 hadoop02
    192.168.245.132 hadoop03
    注意，改完之后，三个节点中的hosts文件的内容应该是一样的
  4. 重启
    reboot
  5. 三个节点之间配置免密互通
    产生密钥
    ssh-keygen
    拷贝到三个节点上，注意是三个节点每一个节点都需要执行这三句话，保证任意两个节点之间能够免密互通
    ssh-copy-id root@hadoop01
    ssh-copy-id root@hadoop02
    ssh-copy-id root@hadoop03
    云主机密码：tarena2017Up;
    最好三个节点都ssh连接一下看一下是否需要密码，如果连接不需要密码就能登录，那就表示免密配置成功
  6. 安装JDK
  7. 安装Zookeeper
    ***** 现在第一个节点上配置，然后拷贝给其他节点 *****
  8. 将伪分布式重命名
    mv hadoop-2.7.1 hadoop-standalone
  9. 解压Hadoop的安装包
    tar -xvf hadoop-2.7.1_64bit.tar.gz
  10. 进入安装目录的子目录
    cd hadoop-2.7.1/etc/hadoop/
  11. 修改hadoop-env.sh
    vim hadoop-env.sh
    修改JAVA_HOME和HADOOP_CONF_DIR
    export JAVA_HOME=/home/presoftware/jdk1.8
    export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop
    保存退出之后重新生效
    source hadoop-env.sh
  12. 修改core-site.xml
    vim core-site.xml
    添加：     fs.defaultFS                     hdfs://ns     hadoop.tmp.dir     /home/software/hadoop-2.7.1/tmp       ha.zookeeper.quorum     hadoop01:2181,hadoop02:2181,hadoop03:2181  
  13. 修改hdfs-site.xml
    vim hdfs-site.xml
    添加：     dfs.nameservices     ns     dfs.ha.namenodes.ns     nn1,nn2     dfs.namenode.rpc-address.ns.nn1     hadoop01:9000     dfs.namenode.http-address.ns.nn1     hadoop01:50070     dfs.namenode.rpc-address.ns.nn2     hadoop02:9000     dfs.namenode.http-address.ns.nn2     hadoop02:50070     dfs.namenode.shared.edits.dir     qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns     dfs.journalnode.edits.dir     /home/software/hadoop-2.7.1/tmp/journal     dfs.ha.automatic-failover.enabled     true     dfs.client.failover.proxy.provider.ns     org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider     dfs.ha.fencing.methods     sshfence     dfs.ha.fencing.ssh.private-key-files     /root/.ssh/id_rsa          dfs.namenode.name.dir         file:///home/software/hadoop-2.7.1/tmp/hdfs/name                   dfs.datanode.data.dir         file:///home/software/hadoop-2.7.1/tmp/hdfs/data                   dfs.replication         3                                                                                       dfs.permissions         false       
  14. 编辑mapred-site.xml
    cp mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    添加：
        
        mapreduce.framework.name    
        yarn    
  15. 编辑yarn-site.xml
    vim yarn-site.xml
    添加：     yarn.resourcemanager.ha.enabled     true     yarn.resourcemanager.ha.rm-ids     rm1,rm2     yarn.resourcemanager.hostname.rm1     hadoop01     yarn.resourcemanager.hostname.rm2     hadoop03     yarn.resourcemanager.recovery.enabled     true     yarn.resourcemanager.store.class     org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore     yarn.resourcemanager.zk-address     hadoop01:2181,hadoop02:2181,hadoop03:2181     yarn.resourcemanager.cluster-id     ns-yarn          yarn.nodemanager.aux-services         mapreduce_shuffle            yarn.resourcemanager.hostname     hadoop03
  16. 编辑slaves - 这个文件是用于指定DataNode以及NodeManager的节点位置
    vim slaves
    添加三个节点的名字，例如
    hadoop01
    hadoop02
    hadoop03
  17. 需要将这个hadoop的安装目录拷贝给其他两个节点
    scp -r hadoop-2.7.1 root@hadoop02:/home/software/
    scp -r hadoop-2.7.1 root@hadoop03:/home/software/
  1. 三个节点需要配置环境变量
    vim /etc/profile
    在文件最后添加：
    export HADOOP_HOME=/home/software/hadoop-2.7.1
    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
    保存退出之后需要重新生效
    source /etc/profile
  2. 三个节点都需要启动Zookeeper
    cd /home/software/zookeeper-3.4.7/bin
    sh zkServer.sh start
    sh zkServer.sh status
  3. 在第一个节点上格式化Zookeeper - 实际上就是在Zookeeper上去注册节点
    hdfs zkfc -formatZK
  4. 在全部三个节点上启动JournalNode
    hadoop-daemon.sh start journalnode
  5. 在第一个节点上格式化NameNode
    hadoop namenode -format
  6. 在第一个节点上启动NameNode
    hadoop-daemon.sh start namenode
  7. 在第二个节点上格式化NameNode
    hdfs namenode -bootstrapStandby
  8. 在第二个节点上启动NameNode
    hadoop-daemon.sh start namenode
  9. 在全部三个节点上启动DataNode
    hadoop-daemon.sh start datanode
  10. 在第一个节点以及第二节点上来启动故障切换进程
    hadoop-daemon.sh start zkfc
  11. 在第三个节点上来启动yarn
    start-yarn.sh
  12. 在第一个节点上来单独启动resourcemanager
    yarn-daemon.sh start resourcemanager
  13. 从第二次启动开始，只需要用start-all.sh即可

如果启动成功，则各个节点的进程分布如下：
第一个节点8个：
Jps
NameNode
DataNode
JournalNode
ResourceManager
NodeManager
DFSZKFailoverController
QuorumPeerMain
第二个节点7个：
Jps
NameNode
DataNode
JournalNode
NodeManager
DFSZKFailoverController
QuorumPeerMain
第三个节点6个：
Jps
DataNode
JournalNode
ResourceManager
NodeManager
QuorumPeerMain

如果发现少了节点，可以试着单独启动一次：
hadoop-daemon.sh start namenode/datanode/journalnode/zkfc
yarn-daemon.sh start resourcemanager/nodemanager

WhitAnOrChild
关注
专栏目录
Hadoop集群的完整搭建(Hadoop完全分布式+ZooKeeper+Mysql+Hive+Hbase完全分布式+Spark完全分布式)
HR的博客
12-19 2790
Hadoop集群的完整搭建准备工作网络环境的配置修改网关、IP配置映射、主机名重启网络服务，测试ssh的配置jdk的安装Hadoop完全分布式的安装准备工作修改配置文件slaveshadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml分发到其他节点测试安装Zookeeper准备工作修改配置文件分发即修改文件测试 准备工作 网络环境的配置 修改网关、IP 打开要修改的文件(最后一个文件名可能每个人的不一样)
伪分布式 完全分布式的搭建
盐二白
08-03 395
伪分布式的搭建 （single node setup） 伪分布式运行模式 这种模式是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点。 　 从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。 从分布式应用的角度来说，集群中的结点由一个JobTracker和若干个Task...
Hadoop伪分布式、完全分布式搭建和测试
weixin_43379812的博客
05-20 329
准备 软件版本 （1）JDK （2）Hadoop （3）CentOS 集群规划 下面搭建三种模式的Hadoop集群，各个模式的集群具体划分如下： （1）本地模式（Local Mode） 主机名 IP地址 Hadoop节点名称 bigdata111 192.168.189.111 无 （2）伪分布式模式（Pseudo-Distributed M...
HDFS完全分布式集群搭建与配置及常见问题总结
weixin_51598535的博客
09-16 1116
HDFS完全分布式集群搭建与配置及常见问题总结
hadoop伪分布式环境搭建，完整的详细步骤
热门推荐
m0_67401153的博客
04-18 1万+
hadoop伪分布式环境搭建，完整的详细步骤 一、搭建伪分布式本次实验环境： 1、VMware14 2、一台ubtuntu 18 64位 3、主机名位master 4、ip 地址：192.168.136.31 5、本次实验需要的安装包 二、 伪分布式搭建前的准备 1、 查看id 地址 ip addr 2、 关闭防火墙 命令来关闭防火墙 ufw disable 命令查看当前防火墙状态 ufw status 3、 修改主机名、 添加主机映射 hostnamectl set-hostname
第一次启动journalnode，没有启动成功
weixin_40981751的博客
04-02 6657
sbin/hadoop-daemon.sh start journalnode 打开节点 然而并没有打开，估计是因为第一次配置文件，哪里配错了。 按照log地址去查看日志： 果然，core_site.xml 29行有错，删除后问题解决。 ...
Hadoop伪分布式搭建
Hello World
08-02 961
伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。一个机器上，既当namenode，又当datanode,或者说既是jobtracker，又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行的效率。
Hadoop 由伪分布式到完全分布式搭建
S_Alisa的博客
07-07 606
整体规划 namenode在node01节点，secondarynamenode 在node02节点，node02、node03、node04节点作为datanode。1.修改配置文件$HADOOP_HOME/etc/hadoop/core-site.xml，将临时文件、namenode、datanode等的存储的目录做了调整，目的是和伪分布式做区分。 2.修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml 配置文件中副本数和SNN节点 3.修改配置文件$HADOOP_H
Hadoop伪分布式、完全分布式搭建和测试（详细版）-附件资源
03-05
Hadoop伪分布式、完全分布式搭建和测试（详细版）-附件资源
1.Hadoop的安装与配置（伪分布式+完全分布式）.docx
01-25
本教程将指导你如何在虚拟机上安装和配置 Hadoop，包括伪分布式和完全分布式两种模式。 首先，我们需要创建虚拟机。在创建虚拟机的过程中，选择“自定义（高级）”选项，然后依次点击“下一步”按钮，直到你选择...
Hadoop单机伪分布式搭建教程1
08-04
【Hadoop单机伪分布式搭建教程】 一、前提条件 在搭建Hadoop单机伪分布式环境之前，确保已经安装了Java Development Kit (JDK)，因为Hadoop是基于Java编写的，运行时需要JDK环境。你可以参考“Hadoop前置准备”来...
centos7搭建hadoop2.9.2完全分布式+zookeeper部署+hbase部署
愿与你一起深度技术交流
06-16 1579
目录一、Hadoop完全分布式集群搭建部署1、配置静态IP2、关闭防火墙3、修改hostname 及 hosts映射4、创建Hadoop账号5、配置SSH6、安装jdk7、修改时区8、安装Hadoop9、配置Hadoop文件10、主机ping通centos11、启动hadoop进程可能遇到的问题：二、Zookeeper安装部署1、环境变量配置2、配置zoo.cfg文件3、创建myid文件4、启动三、Hbase安装部署1、首先解压重命名配置环境变量2、编辑hbase-env.sh文件3、编辑hbase-sit
基于Centos7伪分布式和完全分布式搭建
横行的螃蟹的博客
03-26 896
Centos 7 hadoop2.8.4搭建 在多搭建了几遍之后发现还是挺简单的，如果仅仅搭建hadoop的话,虚拟机用VMware创建。本文中所有操作均使用root用户，并未创建hadoop用户 一 环境配置 1. 首先我们要将Ip设置好 ``` # 每个系统上的文件名可能不一致,不过都是ifcfg-en开头的注意一下就行 vi /etc/sysconfig/network-scrip...
hadoop集群搭建篇（伪分布，完全分布）
eyeofeagle的博客
08-01 2999
要点如下： 1，服务器搭建： virtualBox + Centos7 2, centos7: 网络配置 3，centos 上安装jdk, hadoop 第一步： 安装centos, 配置网络 我使用ubuntu16 桌面版， 安装virtualbox后，创建虚拟机： 添加centos7镜像文件 点击 ‘start’， 开始安装centos7.... 安装完成后， 需要关机，c...............
基于opencv实现象棋识别及棋谱定位python源码+数据集-人工智能课程设计
09-27
基于opencv实现象棋识别及棋谱定位python源码+数据集-人工智能课程设计，含有代码注释，满分课程设计资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末大作业使用，该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 基于opencv实现象棋识别及棋谱定位python源码+数据集-人工智能课程设计，含有代码注释，满分课程设计资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末大作业使用，该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 基于opencv实现象棋识别及棋谱定位python源码+数据集-人工智能课程设计，含有代码注释，满分课程设计资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末大作业使用，该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。基于opencv实现象棋识别及棋谱定位python源码+数据集
基于Python实现的Cowrie蜜罐设计源码
09-27
该项目为基于Python实现的Cowrie蜜罐设计源码，共计380个文件，涵盖166个Python源代码文件，以及包括RST、SQL、YAML、Markdown等多种类型的配置和文档文件。Cowrie蜜罐是一款用于记录暴力攻击和攻击者执行的SSH及Telnet交互的中等交互式蜜罐。
QT 摄像头获取每一帧图像数据以及opencv获取清晰度
09-27
QT 摄像头获取每一帧图像数据以及opencv获取清晰度
基于asp.net的(CS)地震预测系统设计与实现.docx
最新发布
09-27
基于asp.net的(CS)地震预测系统设计与实现.docx
基于Springboot和Mysql的医院药品管理系统代码（程序，中文注释）
09-27
医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统-医院药品管理系统 1、资源说明：医院药品管理系统源码，本资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 2、适用人群：计算机相关专业(如计算计、信息安全、大数据、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工等学习者，作为参考资料，进行参考学习使用。 3、资源用途：本资源具有较高的学习借鉴价值，可以作为“参考资料”，注意不是“定制需求”，代码只能作为学习参考，不能完全复制照搬。需要有一定的基础，能够看懂代码，能够自行调试代码，能够自行添加功能修改代码。 4. 最新计算机软件毕业设计选题大全(文章底部有博主联系方式): https://blog.csdn.net/2301_79206800/article/details/135931154 技术栈、环境、工具、软件： ① 系统环境:Windows ② 开发语言：Java ③ 框架：SpringBo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值