![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 56
限量版爱你128
重启试试
展开
-
Hadoop-常用端口
1.HDFS8020/9000 NameNode 内部常用端口50070NameNode 用户页面查询端口50470 NameNode https服务的端口50010DataNode DataNode初始化时向NAMENODE提出注册和应答请求50075DataNode http服务端口50470DataNode https服务端口50020DataNode ipc服务端口8485Journalnode RPC服务端口8480Jour原创 2022-01-31 16:54:26 · 1948 阅读 · 0 评论 -
Hadoop序列化
序列化概述原创 2021-12-09 11:56:46 · 634 阅读 · 0 评论 -
Hadoop资源调度器
目前,Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。具体设置详见:yarn-default.xml文件1.先进先出调度器(FIFO)2.容量调度器(Capacity Scheduler)3.公平调度器(Fair Scheduler)...原创 2021-12-09 11:51:52 · 1006 阅读 · 0 评论 -
Yarn资源调度器
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。Yarn基本架构Yarn工作机制工作机制详解(1)MR程序提交到客户端所在的节点。(2)YarnRunner向ResourceManager申请一...原创 2021-12-09 11:47:01 · 54 阅读 · 0 评论 -
Hadoop企业优化
MapReduce优化方法MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。1. 数据输入2. Map阶段3. Reduce阶段4. I/O传输5. 数据倾斜问题6.常用的调优参数1.资源相关参数(1)以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)(2)应该在YARN启动之前就配置在服务器的配置文件中才能生效(...原创 2021-12-09 11:35:48 · 49 阅读 · 0 评论 -
Hadoop完全分布式运行模式
1)安装JDK卸载现有JDK(1)查询是否安装Java软件:[zz@hadoop101 opt]$ rpm -qa | grep java(2)如果安装的版本低于1.7,卸载该JDK:[zz@hadoop101 opt]$ sudo rpm -e 软件包(3)查看JDK安装路径:[zz@hadoop101 ~]$ which java用SecureCRT工具将JDK导入到opt目录下面的software文件夹下面在Linux系统下的opt目录中查看软件包是否导入成功..原创 2021-11-16 11:03:16 · 1698 阅读 · 0 评论