![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 54
宇丿宇
这个作者很懒,什么都没留下…
展开
-
Hadoop的优化以及新特性
第一章 HDFS的多目录1.NameNode的本地目录配置多个,且每个目录的存放内容相同,增加可靠性。2.DataNode可以配置多喝目录,每个存储的数据不一样(数据不是副本,不需要和元数据要求一模一样)。3.集群数据均衡之磁盘数据均衡,生产环境,可能会由于硬盘空间不足,需要增加一块硬盘,对于刚添加的磁盘执行均衡命令。第二章 集群扩容及缩容1.添加白名单,表示只有在白名单中主机IP地址的主机才能用来存储数据,同时还可以防止黑客的恶意攻击。2.服役新服务器,指的是业务的增长,需要增加相应的服务器,原创 2021-08-24 21:40:59 · 166 阅读 · 0 评论 -
搞懂这幅图,Hadoop大数据基础篇信手拈来
原创 2021-08-16 19:32:17 · 98 阅读 · 0 评论 -
MapReduce的详细工作流程
MR的详细工作流程上图给的是MR(任务:将200M的数据按照单子首字母是a-p,q-z分为两个区)的工作流程1.获取将要处理的文本数据2.将数据进行切片处理3.提交所需的基本信息,class文件等4.计算Map阶段应该需要几个MapTask(和切片的数量有关,一般128M就会切成一片)5.将切片切好的数据块,调用RecorderReader类,读取数据6.将5中读取完成的数据交给MapTask处理,处理之后的结果就是一种以键值对存在的数据,通过Context中的write方法将其写出7.在原创 2021-08-16 19:26:06 · 2391 阅读 · 0 评论 -
大数据Hadoop之MR(Map与Reduce)
1. MapRedue的认识MapReduce是一个分布式运算程序的编程框架,是Hadoop数据分析的核心框架。2.MR的优缺点优点1.易于编程简单实现一些接口,便可完成一个分布式程序2.良好的扩展性计算资源得不到满足的时候,可以简单的增加机器来扩展计算能力(增加的机器不用太好,普普通通就可以了)3.高容错性在进行运算的时候,其中一台机器发生损坏,可以把上面的计算任务转移到另外的一个节点上运行,不会导致任务运行失败4.适合PB级别以上的海量数据的离线处理可以实现上前台服务器的并发工作(原创 2021-08-16 18:48:33 · 659 阅读 · 0 评论