HDFS
文章平均质量分 73
夏至1208
这个作者很懒,什么都没留下…
展开
-
HDFS HA架构设计
概述 我们知道,hdfs是一个分布式存储结构,里面有namenode和datanode节点。在生产中,如果namenode只有一个,会有单点故障的问题,当namenode挂掉,整个hdfs就无法向外服务。为解决这个问题,一般采用HA(high availability) 高可用架构,即部署两台namenode,那么当一台namenode挂掉后,另一台可立即成为active状态向外提供服务。 架...原创 2018-11-26 11:14:23 · 410 阅读 · 0 评论 -
大数据开发之Hadoop压缩
摘要: 在大数据应用中,首先需要考虑的问题就是如何存储大量数据(HDFS)。通常情况下,我们会将每天产生的生产日志文件存储到HDFS中,久而久之会占用大量磁盘空间。而压缩技术可以大大减少数据文件对于磁盘的占用。而且在读写HDFS的时候,可以减少磁盘和网络的IO,提高MapReduce作业的效率。但是,压缩也会在一定程度上增加CPU的消耗,所以在使用压缩的时候应该综合考虑,合理使用。 注意: 压...原创 2018-12-10 16:44:04 · 256 阅读 · 1 评论