hadoop安装及部署

最新推荐文章于 2024-03-04 18:30:15 发布
最新推荐文章于 2024-03-04 18:30:15 发布
阅读量358 收藏 2
点赞数 1
分类专栏： Hadoop 文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43241054/article/details/89052809
版权

       本文主要介绍Hadoop大数据环境的搭建与配置，Hadoop 主要有三大发行版本，Apache 原生态版本是最基本的版本， 在企业实际使用当中，并不多；cloudera公司对Apache版本进行开发发行的CDH版本，在国内企业中用的比较多；Hortonworks 公司开发的HDP版本。本文主要介绍的伪分布式环境的搭建，分布式环境的搭建和高可用（HA）环境的搭建。

        Hadoop及其组件下载地址：https://archive.cloudera.com/cdh5/cdh/5/，版本自行选择。

        Hadoop官方文档地址：https://hadoop.apache.org/docs/r2.6.0/   或者http://wiki.apache.org/hadoop/

        Hadoop安装之前首先安装jdk。

一、伪分布式安装与部署

1.解压缩到/opt目录下： tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt

2.配置文件hdfs：

（1）vi etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_171

（2）vi etc/hadoop/core-site.xml：

<property>
    <name>fs.defaultFS</name>             #指定NameNode
    <value>hdfs://localhost:9000</value> #根据自己的主机名配置
</property>
 <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/hadoop-2.5.0-cdh5.3.6/data/tmp</value>   #mkdir /opt/hadoop-2.5.0-cdh5.3.6/data/tmp
 </property>

（3）vi etc/hadooop/hdfs-site.xml

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

3.格式化文件系统namenode:

bin/hdfs namenode -format

启动namenode:sbin/hadoop-daemon.sh start namenode

启动datanode:sbin/hadoop-daemon.sh start datanode

4.配置yarn

(1) vi etc/hadoop/yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>

(2)vi etc/hadoop/yarn-env.sh

      export JAVA_HOME=/opt/jdk1.8.0_171

(3) vi etc/hadoop/mapred-site.xml

   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>zhangbk:10020</value>    #主机名
    </property>
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>localhost:19888</value>
    </property>

5.配置slaves,  指定DataNode

locahost  #节点主机名

6.配置环境变量

export HADOOP_HOME=/opt/hadoop-2.5.0-cdh5.3.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

浏览器访问hdfs：http://localhst:50070

浏览器访问yarn管理器：http://localhost:8088

7.测试

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input /output/wdcount2

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input /output/wdcount2

出现的问题：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决：1.jdk是64位，Hadoop是32位编译的。

2.由于cdh版本lib/native文件夹下没有文件，将其他版本的lib/native文件夹下的文件拷贝过来即可。

3. lib/native查找方式：https://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/5.3.6/RPMS/x86_64/下载hadoop-2.5.0+cdh5.3.6+898-1.cdh5.3.6.p0.18.el5.x86_64.rpm（根据自己版本下载），然后解压rpm包，

rpm2cpio hadoop-2.5.0+cdh5.3.6+898-1.cdh5.3.6.p0.18.el5.x86_64.rpm | cpio -idmv

解压后打开在文件夹下usr/lib/hadoop/lib/native/有需要的包，拷贝到Hadoop安装目录的lib/native，并修改软链接即可。

 

二、Hadoop分布式环境搭建

Hadoop 2.x 部署
    * Local Mode
    * Distributed Mode
        * 伪分布式
            一台机器，运行所有的守护进程，
            从节点DataNode、NodeManager
        * 完全分布式
            有多个从节点
            DataNodes
            NodeManagers
            配置文件
                $HADOOP_HOME/etc/hadoop/slaves

================================================================

1.环境准备

三台机器(redhat6)
    192.168.159.21            192.168.159.22            192.168.159.23
    hadoop-senior            hadoop-senior02              hadoop-senior03
        1.5G                           1 G                                 1G
        1 CPU                        1 CPU                            1 CPU

配置映射
    /etc/hosts

        192.168.159.21        hadoop-senior01.zhangbk.com    hadoop-senior01
        192.168.159.22        hadoop-senior02.zhangbk.com    hadoop-senior02
        192.168.159.23        hadoop-senior03.zhangbk.com    hadoop-senior03

配置主机名
    /etc/sysconfig/network

        192.168.159.21        hadoop-senior01.zhangbk.com    
        192.168.159.22        hadoop-senior02.zhangbk.com    
        192.168.159.23        hadoop-senior03.zhangbk.com    


关闭防火墙

service iptables stop     #关闭防火墙
chkconfig iptables off    #永久关闭防火墙
netstat -apn | grep 8080  #查看端口


=====================================================================
2.环境规划与文件配置

        hadoop-senior01            hadoop-senior02            hadoop-senior03
HDFS
        NameNode
        DataNode                          DataNode                       DataNode
                                                                                  SecondaryNameNode
YARN
                                            ResourceManager
        NodeManager                    NodeManager                NodeManager

MapReduce
        JobHistoryServer

文件配置
    * hdfs
         * hadoop-env.sh

                 export JAVA_HOME=/opt/jdk1.8.0_171

         * core-site.xml

             <property>
               <name>fs.defaultFS</name>
               <value>hdfs://hadoop-senior01.zhangbk.com:9000</value>
            </property>
            <property>
               <name>hadoop.tmp.dir</name>
               <value>/opt/hadoop-2.5.0-cdh5.3.6/data/tmp</value> #创建文件夹/opt/hadoop-2.5.0-cdh5.3.6/data/tmp
            </property>


         * hdfs-site.xml

         <property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>hadoop-senior03.zhangbk.com:50090</value>
         </property>


         * slaves

                     hadoop-senior01.zhangbk.com
                     hadoop-senior02.zhangbk.com
                     hadoop-senior03.zhangbk.com


    * yarn
         * yarn-env.sh

                     export JAVA_HOME=/opt/jdk1.8.0_171


         * yarn-site.xml

                     <property>
                       <name>yarn.nodemanager.aux-services</name>
                       <value>mapreduce_shuffle</value>
                     </property>
                     <property>
                       <name>yarn.resourcemanager.hostname</name>
                       <value>hadoop-senior02.zhangbk.com</value>
                     </property>
                     <property>
                       <name>yarn.log-aggregation-enable</name>
                       <value>true</value>
                      </property>
                     <property>
                       <name>yarn.log-aggregation.retain-seconds</name>
                       <value>640800</value>
                     </property>


    * mapredue
         * mapred-env.sh

                     export JAVA_HOME=/opt/jdk1.8.0_171


         * mapred-site.xml

              <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
              </property>
              <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop-senior01.zhangbk.com:10020</value>
              </property>


3.   免密登录
        ssh-keygen -t rsa  一路按回车就行了
        打开~/.ssh 下面有三个文件
            authorized_keys，已认证的keys
            id_rsa，私钥
            id_rsa.pub，公钥
    ssh-copy-id hadoop-senior01.zhangbk.com 复制文件到需要的环境
    scp 拷贝到其他节点

            scp -r ./hadoop-2.5.0-cdh5.3.6 hadoop-senior02.zhangbk.com:/opt


            
    格式化文件系统

        bin/hdfs namenode -format

遇到问题：       
         Cannot assign requested address; For more details
         Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，
         应该在ResouceManager所在的机器上启动yarn。现在问题解决了。 
         
======================================================================
集群搭建完成以后
    * 基本测试
        服务启动，是否可用，简单的应用
        * hdfs
            读写操作
            bin/hdfs dfs -mkdir -p /user/beifeng/tmp/conf
            bin/hdfs dfs -put etc/hadoop/*-site.xml /user/beifeng/tmp/conf
            bin/hdfs dfs -text /user/beifeng/tmp/conf/core-site.xml
        * yarn
            run jar
        * mapreduce
            bin/yarn jar share/hadoop/mapreduce/hadoop*example*.jar wordcount /user/beifeng/mapreuce/wordcount/input /user/beieng/mapreduce/wordcount/output
    * 基准测试
        测试集群的性能
        * hdfs
            写数据
            读数据
    * 监控集群
        Cloudera
        Cloudera Manager
            * 部署安装集群
            * 监控集群
            * 配置同步集群
            * 预警。。。。。

=============================================================
集群的时间要同步
    * 找一台机器
        时间服务器
    * 所有的机器与这台机器时间进行定时的同步
        比如，每日十分钟，同步一次时间

# rpm -qa|grep ntp

# vi /etc/ntp.conf 

        restrict 192.168.21.0 mask 255.255.255.0 nomodify notrap  #放开
        #server 0.rhel.pool.ntp.org   #注释
        #server 1.rhel.pool.ntp.org   #注释
        #server 2.rhel.pool.ntp.org   #注释
        server  127.127.1.0     # local clock   #放开
        fudge   127.127.1.0 stratum 10          #放开

# vi /etc/sysconfig/ntpd

    # Drop root to id 'ntp:ntp' by default.
    SYNC_HWCLOCK=yes
    OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"


    
[root@hadoop-senior hadoop-2.5.0]# service ntpd status
ntpd is stopped
[root@hadoop-senior hadoop-2.5.0]# service ntpd start
Starting ntpd: [  OK  ]
[root@hadoop-senior hadoop-2.5.0]# chkconfig ntpd on
crontab -e #root用户
0-59/10 * * * * /usr/sbin/ntpdate hadoop-senior01.zhangbk.com  #定时同步时间
调整服务器时间
[root@hadoop-senior03 ~]# date -s 2019-06-19
Wed Jun 19 00:00:00 PDT 2019
[root@hadoop-senior03 ~]# date -s 22:45:30
Wed Jun 19 22:45:30 PDT 2019

三、高可用（HA）分布式环境搭建

1. 首先安装部署zookeeper
yarn hbase spark都需要zookeeper
分布式应用提供协调服务的Apache项目
集群个数为奇数 （一个leader）
tickTime:作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔。
dataDir:Zookeeper保存数据的目录，默认情况下。写数据的日志文件也保存在这个目录。
clientPort：这个端口就是客户端连接zookeeper服务器的端口。zookeeper会监听这个端口，接受客户端的访问请求。
zookeeper client命令：
bin/zkCli.sh -server localhost:2181
ls,get,create,delete,set

搭建zookeeper分布式集群
mkdir - p /opt/zookeeper-3.4.5-cdh5.3.6/data/zkData
mv conf/zoo_sample.cfg conf/zoo.cfg
vi conf/zoo.cfg
    dataDir=/opt/zookeeper-3.4.5-cdh5.3.6/data/zkData
    # the port at which the clients will connect
    clientPort=2181
    server.1=hadoop-senior01.zhangbk.com:2888:3888
    server.2=hadoop-senior02.zhangbk.com:2888:3888
    server.3=hadoop-senior03.zhangbk.com:2888:3888

vi data/zkDate/myid
1

scp -r zookeeper-3.4.5-cdh5.3.6 root@hadoop-senior02.zhangbk.com:/opt
scp -r zookeeper-3.4.5-cdh5.3.6 root@hadoop-senior03.zhangbk.com:/opt
在第二、三节点分别修改myid文件，分别设置为2 3

Zookeeper集群脚本启动问题

脚本启动，jps找不到进程。

分析原因
 
首先知道交互式shell和非交互式shell、登录shell和非登录shell是有区别的
在登录shell里，环境信息需要读取/etc/profile和~ /.bash_profile, ~/.bash_login, and ~/.profile按顺序最先的一个，并执行其中的命令。除非被 —noprofile选项禁止了；在非登录shell里，环境信息只读取 /etc/bash.bashrc和~/.bashrc 
手工执行是属于登陆shell，脚本执行数据非登陆shell，而我的linux环境配置中只对/etc/profile进行了jdk1.8等环境的配
置，所以脚本执行/opt/module/zookeeper-3.4.10/bin/zkServer.sh start 启动zookeeper失败了
 
解决方法
 
把profile的配置信息echo到.bashrc中  cat  /etc/profile  >> ~/.bashrc
在/zookeeper/bin/zkEnv.sh的中开始位置添加export JAVA_HOME=/opt/module/jdk1.8.0_191


Hadoop HA高可用分布式集群搭建
    分布式存储
    * NameNode
        元数据
        /user/beifeng/tmp/core-site.xml
            文件名称    路劲    拥有者（所属者）    所属组    权限    副本数 .....
    * DataNode
        128 MB
        Block方式进行存储
        本地磁盘
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>file://${hadoop.tmp.dir}/dfs/data</value>
            </property>
    * Client
        -> NameNode    -> 
        put

    hadoop 2.x
        2.2.0
HDFS HA
    * NameNode Active
    * NameNode Standby

HDFS
    edits
        变化
NN Active

NN Standby

配置HA要点
* share edits
    JournalNode
* NameNode
    Active，Standby
* Client
    Proxy
* fence
    同一时刻仅仅有一个NameNode对外提供服务
    使用的方式sshfence
        两个NameNode之间能够ssh无密码登录
        21(NameNode) ssh  -> 22
        22(NameNode) ssh  -> 21

============================================================

2.规划集群与文件配置

规划集群
       21                              22                           23

    NameNode                     NameNode

    JournalNode                JournalNode              JournalNode

    DataNode                    DataNode               DataNode
配置文件（https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_details）
hadoop-env.sh

                 export JAVA_HOME=/opt/jdk1.8.0_171    


core-site.xml

            <property>
              <name>fs.defaultFS</name>
              <value>hdfs://ns1</value>
            </property>
            <property>
              <name>hadoop.tmp.dir</name>
              <value>/opt/hadoop-2.5.0-cdh5.3.6/data/tmp</value> #创建文件夹/opt/hadoop-2.5.0-cdh5.3.6/data/tmp
            </property>


hdfs-site.xml

        <property>
              <name>dfs.nameservices</name>
              <value>ns1</value>
        </property>
        
        <property>
              <name>dfs.ha.namenodes.ns1</name>
              <value>nn1,nn2</value>
        </property>
        
        <property>
              <name>dfs.namenode.rpc-address.ns1.nn1</name>
                <value>hadoop-senior01.zhangbk.com:8020</value>
        </property>
        <property>
              <name>dfs.namenode.rpc-address.ns1.nn2</name>
              <value>hadoop-senior02.zhangbk.com:8020</value>
        </property>
        #namenode http web address
        <property>
              <name>dfs.namenode.http-address.ns1.nn1</name>
              <value>hadoop-senior01.zhangbk.com:50070</value>
        </property>
        <property>
              <name>dfs.namenode.http-address.ns1.nn2</name>
              <value>hadoop-senior02.zhangbk.com:50070</value>
        </property>
        #namenode shared edits address
        <property>
              <name>dfs.namenode.shared.edits.dir</name>
              <value>qjournal://hadoop-senior01.zhangbk.com:8485;hadoop-senior02.zhangbk.com:8485;hadoop-senior03.zhangbk.com:8485/ns1</value>
        </property>
        #hdfs proxy client
        <property>
              <name>dfs.client.failover.proxy.provider.ns1</name>
              <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        #namenode fence
        <property>
              <name>dfs.ha.fencing.methods</name>
              <value>sshfence</value>
        </property>
        <property>
              <name>dfs.ha.fencing.ssh.private-key-files</name>
              <value>/root/.ssh/id_rsa</value>
        </property>
        
        <property>
              <name>dfs.journalnode.edits.dir</name>
              <value>/opt/hadoop-2.5.0-cdh5.3.6/data/dfs/jn</value>
        </property>


slaves

    hadoop-senior01.zhangbk.com
    hadoop-senior02.zhangbk.com
    hadoop-senior03.zhangbk.com

scp -r /opt/hadoop-2.5.0-cdh5.3.6/etc/hadoop root@hadoop-senior02.zhangbk.com:/opt/hadoop-2.5.0-cdh5.3.6/etc/
QJM HA启动
step1 在各个journalnode节点上，启动journalnode
    sbin/hadoop-daemon.sh start journalnode
step2 在nn1上，进行格式化，并启动namenode
    bin/hdfs namenode -format
    sbin/hadoop-daemon.sh start namenode
step3 在nn2上，同步nn1的元数据信息
    bin/hdfs namenode -bootstrapStandby
step4 启动nn2
    sbin/hadoop-daemon.sh start namenode
step5 将nn1切换为Active
    bin/hdfs haadmin -transitionToActive nn1
step6 在nn1上启动所有datanode
    sbin/hadoop-daemons.sh start datanode
    
HA 自动故障转移 Zookeeper
    启动HA以后，都是standby，选举一个为Active
    
    hdfs-site.xml

     <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
     </property>


  
  core-site.xml

      <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop-senior01.zhangbk.com:2181,hadoop-senior02.zhangbk.com:2181,hadoop-senior03.zhangbk.com:2181</value>
      </property>


      
    启动自动故障转移
        （1）关闭所有HDFS服务            sbin/stop-dfs.sh
        （2）启动Zookeeper集群           bin/zkServer.sh start
        （3）初始化HA在Zookeeper中状态   bin/hdfs zkfc -formatZK
        （4）启动HDFS服务                sbin/start-dfs.sh
        （5）在各个NameNode节点上启动DFSZK Failover Controller,先在哪台机器上启动，
             哪台机器的NameNode就是Active NameNode      sbin/hadoop-daemon.sh start zkfc
             
    验证：Active NameNode进程杀掉
          Active NameNode机器断开网络 service network stop

=========================================================
NameNode
    
    能不能有多个NameNode
    NameNode             NameNode                 NameNode
    元数据                元数据                    元数据
    log                machine                    电商数据/话单数据

所有的DataNodes节点上

=============================================================

测试机群

生产集群

多个版本的Hadoop 大数据集群
     hadoop distcp -i hftp://sourceFS:8020/src hdfs://destFS:8020/dest
     MapReduce

=============================================================
YARN
    ResourceManager
        * 管理集群资源
        * 分配调度集群资源
    NodeManagers

备注:安装出现问题，欢迎骚扰！！！

在这里插入图片描述在这里插入图片描述

在这里插入图片描述

磨刀大神
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7下安装hadoop2.7.3（时间戳2017年7月1日）
kristenstewert的专栏
07-01 485
具体的步骤按照点击打开链接教程来进行，说一下我遇到的问题： （1）在进行到指令时候： ./bin/hdfs dfs -mkdir -p /user/hadoop 遇到如下错误： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-Java
hadoop启动之“hadoop-daemon.sh”详解
sinoyang的专栏
09-26 2万+
今天看了一下启动文件“hadoop-daemon.sh”，仔细看了一下大概知道它的作用，使用“hadoop-daemon.sh“脚本启动和停止hadoop后台程序。它可以做到在A机器上启动”namenode“，B机器启动”secondarynamenode“ C机器启动”datanode“， ”tasktracker“，具体启动如下 ：  ./hadoop-daemon.sh start nam
头歌Hadoop开发环境搭建 jdk1.8.0_171 dose not exist
weixin_47243901的博客
03-04 1034
cd /ooptlljps，出现以下内容代表成功。
大数据Hadoop集群的启动
赵广陆
10-27 1万+
目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 HDFS文件限额配置3.2 数量限额3.3 空间大小限额3.4 HDFS的管理命令3.5 hdfs的安全模式 1 启动准备工作 通过前面的配置现在可以启动Hadoop集群了，但是在首次启动Hadoop时还需要做一些准备工作。 1.1
Hadoop（1）——Hadoop集群构建（10）——启动和关闭Hadoop集群
weixin_54348877的博客
09-28 3359
需要启动的集群：启动HDFS和YARN集群 启动方式：单节点逐个启动 或者 使用脚本一键启动 一、单节点启动 1. 启动HDFS的主节点 namenode hadoop01中，输入：hadoop-daemon.sh start namenode 2. 启动HDFS的从节点 datanode hadoop01中，输入：hadoop-daemon.sh start datanode 3. 验证启动 hadoop01中，输入：jps 这个命令可以查看和java相关的进程 ...
大数据Hadoop安装部署文档
最新发布
04-21
主要介绍了Hadoop在windows上伪分布式的安装过程、在Linux单节点伪分布式的安装过程、Eclipse开发环境介绍
Hadoop安装部署
05-18
最近结合具体的项目，搭建了Hadoop+Hive，在运行Hive之前要首先搭建好Hadoop，关于Hadoop的搭建有三种模式，在以下的介绍中，我主要的采用的是Hadoop的伪分布安装模式。写下来给各位分享
hadoop安装部署手册
03-06
hadoop在Linux环境下部署不同的节点
Hadoop安装部署及教学
10-17
Hadoop安装部署及教学,内有word文档、ppt、pdf 一整套教学及部署
hadoop使用指南
ToLastNight的博客
04-23 527
hadoop安装 官网：http://hadoop.apache.org/ 下载并安装到opt目录下（3.x要求jdk1.8版本） tar -zxvf hadoop-3.2.0.tar.gz 本地模式 grep测试 进入hadoop目录 cd hadoop 创建input文件夹 mkdir input 将etc里的所有xml文件复制到input文件夹里（此处etc是hadoop目录下的etc）...
启动hive出错
qq_20790447的博客
05-08 4036
将hdfs和yarn都启动成功之后，启动hive，如下所示： [hadoop@hadoop102 hive]$ cd /opt/module/hive [hadoop@hadoop102 hive]$ bin/hive 出现了下面错误： which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_144/bin:/opt/module/hadoop-2.7.2/bin:/opt/mod
Hadoop的启动和停止命令
m0_74579345的博客
09-29 2740
hadoop命令集
Hadoop各进程启动命令(三种启动方式)
热门推荐
盖世英雄来了
06-18 3万+
（乾坤未定，你我皆是黑马） 本文总结了一下启动hadoop过程中的一些常用命令 1.直接启动或者关闭所有的进程（不推荐，由于分布式下，namenode和datanode分布在不同机器上，启动的进程不相同） 在启动hadoop进程的时候我们通常都是直接使用(默认hadoop根目录下) sbin/start-all.sh sbin...
hadoop-daemon.sh 和Hadoop-daemons.sh 的区别
weixin_30256505的博客
02-08 446
Hadoop-daemon.sh:用于启动当前节点的进程 例如Hadoop-daemon.sh start namenode 用于启动当前的名称节点 Hadoop-daemons.sh：用于启动所有节点的进程 例如：Hadoop-daemons.sh start datanode 用于启动所有节点的数据节点 转载于:https://w...
Hadooop集群安装超详细
记录日常开发过程中遇到的一些问题
03-13 862
原文链接：https://blog.csdn.net/woshigeshou123/article/details/8833174 1、集群部署介绍 1.1 Hadoop简介 　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google ...
解决Hadoop时no namenode to stop异常或则 是 jps中没有namenode
qq_43688472的博客
06-13 3840
一：问题: 在jps的时候没有发现namenode 在stop-all.sh 的时候 ，出现 No namenode to stop 二：寻找解决方法 1.博客的寻找 2.在脚本中发现了一个关键的地方 [hadoop@hadoop001 sbin]$ cat hadoop-daemon.sh ，，，， namenode|secondarynamenode|datanode|journalno...
Hadoop安装部署调试
07-13
要进行Hadoop的安装部署和调试，您可以按照以下步骤进行操作： 1. 下载Hadoop：从Apache Hadoop官方网站（https://hadoop.apache.org/）下载最新版本的Hadoop软件包。 2. 解压缩软件包：将下载的软件包解压缩到您...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值