部署:分为测试环境、生产环境。
Hadoop发行版本:Apache、CDH(tar包、rpm包、parcel包,必须由cloudera manager进行管理)、HDP
注意:大数据框架内禁用IPV6;同时要修改用户的最大进程数、单个进程打开的最大文件数量;
Hadoop 2 三大组件:1. HDFS 2.MapReduce 3 YARN
HDFS:分布式文件系统,从功能上分为namenode、datanode。其中,namenode用于存放集群元数据,例如文件名称层、文件存放在哪个datanode之上、有没有进行切片等;数据是以block形式存储;namenode中数据存放在内存中、本地磁盘包括镜像文件、编辑日志;
YARN架构:分为node manager(每一个节点)、resource manager(管理整个集群)
企业级大数据平台
最新推荐文章于 2022-11-18 11:17:55 发布