Hadoop

Hadoop

1、Hadoop常用端口

HDFS、MR、客户端、历史服务器 （Hadoop2.x \ Hadoop3.x区别）

2、Hadoop配置文件、集群搭建

配置文件 （Hadoop2.x \ Hadoop3.x区别）


集群搭建：
	JDK、SSH免密登录、配置核心文件Hadoop。。。

基准测试：
	测试HDFS读写性能及MR计算能力。（自带测试jar包）

3、Hadoop 读写流程

读流程



写流程



yarn流程：
	调度器分类、区别、
	生产环境选择、生产环境创建队列、创建多队列好处


shuffle优化：
	map阶段
	reduce阶段
	IO阶段
	整体

4、系统异常

 1、HDFS小文件
	影响、解决方法（多种、比较、最优、常用）


2、数据倾斜


3、Hadoop宕机


4、项目中遇到的问题？
	
	集群资源分配参数