![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
Link霖
这个作者很懒,什么都没留下…
展开
-
数据基本类型与包装类
1.数据基本类型第一类:整型 byte short int long 第二类:浮点型 float double 第三类:逻辑型 boolean 第四类:字符型 char 类型 字节 对应包装类 boolean 1/8 Boolean char 1 Character short 2 Short int 4...转载 2018-07-28 20:46:22 · 251 阅读 · 1 评论 -
Hadoop的shuffle与spark的区别
Hadoop的shuffle1.maptask执行,outputcollect收集maptask的输出数据,将数据写入环形缓冲区中,记录起始偏移量(split)2.环形缓冲区默认大小为100M,当数据达到80M时,记录终止偏移量。3.启动spiller溢出器,将数据进行分区(默认分组根据key的hash值%reduce数量进行分区),分区内进行快速排序4.分区,排序结束后,将数据刷写到磁盘...原创 2019-08-01 16:57:11 · 401 阅读 · 0 评论 -
hadoop的进程
Hadoop进程:1、Namenode没有Namenode,HDFS就不能工作。事实上,如果运行namenode的机器坏掉的话,系统中的文件将会完全丢失,因为没有其他方法能够将位于不同datanode上的文件块(blocks)重建文件。因此,namenode的容错机制非常重要,Hadoop提供了两种机制。第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以通过配置来让Na...原创 2019-08-01 17:18:30 · 395 阅读 · 0 评论