大数据
木良Duncan
这个作者很懒,什么都没留下…
展开
-
Yarn对组成结构
Yarn主要有ResourceManager、NodeManager、ApplicationMatster和Container等组件构成。ResourceManager负责整个系统的资源管理和分配,ApplicationMaster负责单个应用程序的的管理。原创 2023-03-24 10:43:52 · 263 阅读 · 0 评论 -
Hadoop常见压缩算法
压缩格式算法文件扩展名切片说明DEFLATEDEFLATE.deflate否Hadoop自带。与文本处理一样,不需要修改GzipDEFLATE.gz否Hadoop自带。与文本处理一样,不需要修改bzip2bzip2.bz2是Hadoop自带。与文本处理一样,不需要修改LZOLZO.lzo是需要额外安装。建索引,指定输入格式SnappySnappy.snappy否hadoop自带,与文本处理一样,不需要修改原创 2023-03-16 10:29:36 · 113 阅读 · 0 评论