![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
augie_ly
冰冻三尺非一日之寒
展开
-
Hadoop之常见压缩格式
前言 为什么会出现需要对文件进行压缩? 在Hadoop中,文件需要存储、传输、读取磁盘、写入磁盘等等操作,而文件的大小,直接决定了这些这些操作的速度。 1.压缩的好处和坏处 好处 减少存储磁盘空间 降低IO(网络的IO和磁盘的IO) 加快数据在磁盘和网络中的传输速度,从而提高系统的处理速度 坏处 由于使用数据时,需要先将数据解压,加重CPU负荷。而且压缩的越狠,耗费的时间越多。 2.压缩格式 支持native表示,hadoop自己提供了功能的实现,而不是依赖外部,如bzip2是不支持native,则表示原创 2020-11-19 19:23:52 · 690 阅读 · 0 评论 -
Hadoop HA高可用搭建流程
一、HDFS-HA集群配置 1.环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK,配置环境变量等 2.规划集群 3.配置Zookeeper集群 集群规划 在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。 解压安装 (1)解压Zookeeper安装包到/opt/module/目录下 [jinghang@hadoop102 software]$ tar -zxvf zookeeper原创 2020-10-20 20:38:32 · 162 阅读 · 1 评论