![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
LafreeBing泉
慎独
展开
-
Hadoop HDFS文件系统
HDFS详解(性能,架构,基本储存单元,读写分析,组成,SNN合并,安全模式)性能HDFS 天生是为大规模数据存储与计算服务的,而对大规模数据的处理目前还有没比较稳妥的解决方案。 HDFS 将将要存储的大文件进行分割,分割到既定的存储块(Block)中进行了存储,并通过本地设定的任务节点进行预处理,从而解决对大文件存储与计算的需求。、 * 在实际工作中,除了某些尺寸较大的文件要求进行存储...原创 2018-09-15 15:53:06 · 2420 阅读 · 2 评论 -
Hadoop的High Available 机制
Hadoop的High Available 机制#hadoop正式引入HA是从Hadoop2.0开始,之前的版本中没有HA机制HA的运作机制Hadoop—HA 集群运作机制介绍所谓HA,即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障Hadoop-ha严格来说应该分为各个组件的HA机制Hadoop——HA yarn——HAHDFS的HA机制详解通过双Name...原创 2018-09-20 15:45:54 · 301 阅读 · 0 评论 -
mapreduce框架讲解
mapreduce#hadoop/mapreduceMapReduce将复杂的,运行于大规模集群上的并行计算过程高度的抽象到了两个函数:map和reduce编程变得容易,不需要掌握分布式并行编程细节,也可以很容易把自己的程序运行在分布式系统上,完成海量数据的计算MapReduce采用分而治之的策略,一个储存在分布式文件系统中的大规模数据集,会被切分为许多独立的分片(split),这些分片可...原创 2018-09-20 15:48:04 · 1007 阅读 · 0 评论 -
HDFS HA补充
HDFS HA补充#hadoopHDFS HA命令hdfs dfsadmin -report 报告集群情况hdfs haadmin -getServiceState nn2 查看NameNode2 是active还是standbyhdfs hasdmin -transitionToActive --forcemanual nn2 手动将nn2 转为active会报告nn1 is alr...原创 2018-09-20 15:50:31 · 228 阅读 · 1 评论 -
scala基础
scala基础#scala1.1 值和变量使用var声名一个变量var修饰的变量,内容和引用都可以变使用val声名一个常量或值val修饰的变量是不可变的,注意不可变的不是是内容,而是引用;扩展一下什么是值类型,什么是引用类型,可以使用数据举例,引用不可变,变的是内容/*可变和不可变可变和不可变,指的是变量本身存的内容,值类型变量存的是数据本身,而引用类型变量存的是数据的引用...原创 2018-11-02 21:55:05 · 156 阅读 · 0 评论 -
mapreduce shuffle详细讲解(转)
MapReduce:详解Shuffle过程 转自http://langyu.iteye.com/blog/992916#commentsShuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job ...转载 2018-11-21 17:23:28 · 144 阅读 · 0 评论