![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 82
介绍hadoop相关的内容
浅谈_
这个作者很懒,什么都没留下…
展开
-
最全Mapreduce保姆级教程(建议收藏,随用随查)
Mapreduce的设计思想、Mapreduce的模板类、Mapreduce的数据类型、Mapreduce的处理流程、Mapreduce的处理流程图、Mapreduce的shuffle、Shuffle的优化、Mapreduce的join、Mapreduce的自定义分区、Mapreduce的自定义输入和输出等等!原创 2021-06-20 00:24:53 · 1031 阅读 · 0 评论 -
手动搭建CDH版本的大数据平台
手动搭建CDH版本的大数据平台基础环境的准备搭建zookeeper集群搭建Hadoop的HA架构集群搭建hbase的HA架构的集群搭建elasticsearch分布式集群 本次搭建是在虚拟机上面进行Linux环境的搭建,版本为5.14.0,提供的虚拟机为5台。配置的主机名分别为v1,v2,v3,v4,v5基础环境的准备配置了每台虚拟机和其他虚拟机的免密登陆,使用到的linux命令为ssh-keygen##用法[root@v1 ~]# ssh-keygenssh-copy-id原创 2021-06-11 00:55:32 · 1474 阅读 · 0 评论 -
YARN资源管理与任务调度
YARN资源管理与任务调度框架1.1 YARNYARNYARN的架构1.1.1 功能1.1.2 架构1.2 YARNYARNYARN的任务运行流程1.2.1 架构图1.2.2 架构说明1.3 组件介绍1.4 YARNYARNYARN的资源分配配置1.5 YARN的任务调度1.1 YARNYARNYARN的架构1.1.1 功能分布式资源管理与任务调度框架。资源管理:将整个集群的所有机器的CPUCPUCPU和内存进行统一化管理每一台机器运行程序时,使用多少资源,都由YARNYARNYARN进行分配原创 2021-06-11 00:37:30 · 321 阅读 · 3 评论 -
一文搞懂HDFS分布式文件系统
HDFS的介绍、主从节点功能、HDFS架构图、HDFS读写流程、HDFS元数据安全、HDFS客户端管理操作、HDFS的HA架构和联邦机制等等。原创 2021-06-10 00:49:02 · 1482 阅读 · 0 评论 -
hadoop的编译过程
Hadoop的编译包括JDK的安装部署、maven的安装部署、findbugs的安装、Protobuff的安装、snappy的安装等等原创 2021-06-08 22:44:51 · 656 阅读 · 4 评论