【hadoop_单点式部署】

最新推荐文章于 2023-11-20 16:48:20 发布

走多远才算远

最新推荐文章于 2023-11-20 16:48:20 发布

阅读量337

点赞数

文章标签： hadoop 大数据 hdfs

本文链接：https://blog.csdn.net/weixin_47922102/article/details/127828098

版权

本文介绍了Apache Hadoop，包括其在大数据生态系统中的角色，以及如何进行伪分布式部署。重点在于部署的前提条件，需要安装JDK 8或11。

摘要由CSDN通过智能技术生成

10_hadoop

什么是hadoop ：
1.广义上：以 apache hadoop 软件为主的生态圈： hive ，flume, hbase,kafka,spark,flink
2.狭义：apache hadoop软件

    2.hadoop组成
                    hdfs 存储 海量数据
                    mapreduce  计算、分析
                    yarn  资源和作业的调度
    
    大数据平台： 存储是第一位的  存储和计算是相符相成的
    
    1.官网地址：
                        hadoop.apache.org
                        project.apache.org

    2.版本： 

            主流 2.x 
                1.原生apache 
                        2.x
                        3.x
                2.cdh 
                    5.x
                    6.x

下载：1. 官网
            2.历史版本：https://archive.apache.org/dist

    1.部署 大数据平台组件：主从架构
                1.hdfs  存储 海量数据
                       namenode 老大 负责指挥数据的存储
                        datanode 小弟 主要负责数据的存储     
                        seconderynamenode 万年老二 主要辅助namenode工作
                2.yarn 资源和作业的调度
                            resourcemanager 老大 负责指挥资源分配
                            nodemanager 小弟真正的资源
        
                部署模式：
                                1.本地式（不用）
                                2.单点模式 《=》伪分布式模式：所有进程在一台机器上运行
                                3.完全分布式模式&#