Hadoop2.x与Hadoop3.x的默认端口变化

最近配置Hadoop3.x集群的时候发现了一些端口变动,导致web访问UI界面失败,查阅资料写个帖子记录分析一下。

Namenode 端口:

2.x端口 3.x端口 name desc
50470 9871 dfs.namenode.https-address The namenode secure http server address and port.
50070 9870 dfs.namenode.http-address The address and the base port where the dfs namenode web ui will listen on.
8020 9820 fs.defaultFS 指定HDFS运行时nameNode地址

Secondary NN 端口:

2.x端口 3.x端口 name desc
50091 9869 dfs.namenode.secondary.https-address The secondary namenode HTTPS server address and port
50090 9868 dfs.namenode.secondary.http-address The secondary namen
  • 7
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache HadoopHadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用Unix工具进行数据分析 使用Hadoop分析数据 map阶段和reduce阶段 横向扩展 合并函数 运行一个分布式的MapReduce作业 Hadoop的Streaming Ruby版本 Python版本 Hadoop Pipes 编译运行 第3章 Hadoop分布式文件系统 HDFS的设计 HDFS的概念 数据块 namenode和datanode 命令行接口 基本文件系统操作 Hadoop文件系统 接口 Java接口 从Hadoop URL中读取数据 通过FileSystem API读取数据 写入数据 目录 查询文件系统 删除数据 数据流 文件读取剖析 文件写入剖析 一致模型 通过 distcp并行拷贝 保持 HDFS 集群的均衡 Hadoop的归档文件 使用Hadoop归档文件 不足 第4章 Hadoop I/O 数据完整性 HDFS的数据完整性 LocalFileSystem ChecksumFileSystem 压缩 codec 压缩和输入切分 在MapReduce中使用压缩 序列化 Writable接口 Writable类 实现定制的Writable类型 序列化框架 Avro 依据文件的数据结构 写入SequenceFile MapFile 第5章 MapReduce应用开发 配置API 合并多个源文件 可变的扩展 配置开发环境 配置管理 辅助类GenericOptionsParser,Tool和ToolRunner 编写单元测试 mapper reducer 本地运行测试数据 在本地作业运行器上运行作业 测试驱动程序 在集群上运行 打包 启动作业 MapReduce的Web界面 获取结果 作业调试 使用远程调试器 作业调优 分析任务 MapReduce的工作流 将问题分解成MapReduce作业 运行独立的作业 第6章 MapReduce的工作机制 剖析MapReduce作业运行机制 作业的提交 作业的初始化 任务的分配 任务的执行 进度和状态的更新 作业的完成 失败 任务失败 tasktracker失败 jobtracker失败 作业的调度 Fair Scheduler Capacity Scheduler shuffle和排序 map端 reduce端 配置的调优 任务的执行 推测式执行 重用JVM 跳过坏记录 任务执行环境 第7章 MapReduce的类型与格式 MapReduce的类型 默认的MapReduce作业 输入格式 输入分片与记录 文本输入 二进制输入 多种输入 数据库输入(和输出) 输出格式 文本输出 二进制输出 多个输出 延迟输出 数据库输出 第8章 MapReduce的特性 计数器 内置计数器 用户定义的Java计数器 用户定义的Streaming计数器 排序 准备 部分排序 总排序 二次排序 联接 map端联接 reduce端联接 边数据分布 利用JobConf来配置作业 分布式缓存 MapReduce库类 第9章 构建Hadoop集群 集群规范 网络拓扑 集群的构建和安装 安装Java 创建Hadoop用户 安装Hadoop 测试安装 SSH配置 Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的其他属性 创建用户帐号 安全性 Kerberos和Hadoop 委托令牌 其他安全性改进 利用基准测试程序测试Hadoop集群 Hadoop基准测试程序 用户的作业 云上的Hadoop Amazon EC2上的Hadoop 第10章 管理Hadoop HDFS 永久性数据结构 安全模式 日志审计 工具 监控 日志 度量 Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 模式 函数 用户自定义函数 过滤UDF 计算UDF 加载UDF 数据处理操作 加载和存储数据 过滤数据 分组与连接数据 对数据进行排序 组合和分割数据 Pig实战 并行处理 参数代换 第12章 Hive 1.1 安装Hive 1.1.1 Hive外壳环境 1.2 示例 1.3 运行Hive 1.3.1 配置Hive 1.3.2 Hive服务 1.3.3 Metastore 1.4 和传统数据
### 回答1: ration是Hadoop中的一个Java类,用于管理和读取Hadoop的配置文件。它提供了一种方便的方式来访问Hadoop集群的配置信息,包括HDFS、MapReduce、YARN等组件的配置。通过Configuration类,用户可以轻松地读取和修改Hadoop的配置信息,以满足不同的需求。 ### 回答2: org.apache.hadoop.conf.configu是Hadoop框架中的一个Java类库,主要用于加载和管理Hadoop系统中的配置文件。这个类库包含了几个重要的类和接口,其中最常用的是Configuration类。 Configuration类是org.apache.hadoop.conf.configu中的核心类,用于管理Hadoop系统中的所有配置项。这个类提供了读取配置文件、添加新的配置项、修改已有的配置项、获取配置项值等操作的接口。在Hadoop应用程序中,我们可以通过创建Configuration对象来读取和管理配置文件中的配置项。 此外,org.apache.hadoop.conf.configu库还提供了另外一些类,如JobConf类、JobClient类和JobTracker类等,用于对Hadoop作业进行配置和管理。其中,JobConf类可以继承Configuration类,提供了更多用于作业配置的接口;JobClient类则用于提交和管理作业;JobTracker类则是Hadoop中的一个关键组件,负责作业调度和资源分配等功能。 总的来说,org.apache.hadoop.conf.configu是Hadoop框架中一个非常重要的Java类库,它为Hadoop应用程序提供了非常重要的配置管理功能。了解如何使用这个类库可以帮助我们更好地编写和优化Hadoop应用程序。 ### 回答3: org.apache.hadoop.conf.configu是Hadoop分布式计算框架中的一个重要组件,它是Hadoop的一个配置工具,用于读取、写入和管理Hadoop的配置文件。它的主要作用是帮助用户管理Hadoop集群的配置信息,从而让Hadoop集群更加易于管理和维护。org.apache.hadoop.conf.configu提供了一组基本的API,供用户使用。 在Hadoop集群中,配置文件是非常重要的组成部分,因为集群中的每个节点都需要知道如何配置自己以与其他节点协作。org.apache.hadoop.conf.configu提供了一个通用的方式来处理这些配置文件,它允许用户轻松地读取和写入这些文件,并且可以通过编程方式进行修改和更新。同时,org.apache.hadoop.conf.configu还支持多种不同的配置文件格式,包括基于XML和基于Properties的格式。 在Hadoop集群中,配置文件通常是为了定义不同的属性,例如节点的IP地址和端口号,Hadoop默认文件系统,HDFS的块大小等。在org.apache.hadoop.conf.configu中,所有这些属性都是以键值对的形式存储的,并且可以随时通过API查询和修改。此外,org.apache.hadoop.conf.configu还提供了一些工具类来帮助用户管理这些属性,例如属性类型转换和属性默认值设置等。 总的来说,org.apache.hadoop.conf.configu是Hadoop分布式计算框架的一个核心组件,它帮助用户管理Hadoop集群中的配置信息,使得集群更加容易管理和维护。通过使用org.apache.hadoop.conf.configu,用户可以轻松地读取、写入和管理Hadoop的配置文件,从而使Hadoop集群更加健壮和可靠。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值