- 博客(4)
- 收藏
- 关注
RSS订阅原创 MapReduce的Shuffle过程
总的来说，Shuffle是Mapper和Reducer的中间步骤，它的功能是，将Mapper输出的键值对按照key值重新进行切分和组合，并将key值满足一定条件的键值对传送给特定的Reducer去处理。可以简化Reducer的工作。 Shuffle分为Map端和Reduce端两部分 一、Map端，如下图： input： 输入数据来源于block，当然map作业直接读取的是split p...
2018-02-26 20:27:50
2210
原创 Linux的RPM安装方式为什么不需要配置环境
Linux的几种软件安装方式：源码编译、压缩包、RPM包，最简单的当然是RPM安装方式，不需配置环境，不需安装相关依赖（依赖自动安装），一直好奇为什么这种方式不需要配置环境。 通过RPM方式安装时，是严格遵照Linux对环境变量的路径的要求，比如： /usr/bin 可执行的命令安装目录 /usr/lib 程序所使用的库函数保存位置 /usr/share/doc 基本的软件使用手...
2018-02-16 23:22:34
5739
4
原创 HDFS1.X的单点故障和内存受限问题
HDFS2.X提出的HA和Federation分别对应解决两个问题 –解决单点故障 HDFS HA：通过主备NameNode解决，当主NameNode出现故障时，快速切换到备NameNode上。 –解决内存受限 HDFS Federation（联邦），多个NameNode水平扩展，每一个分管一部分目录，所有的NameNode共享所有DataNode存储资源。一、先说内存受限问题，...
2018-02-14 20:28:12
2526
原创 NameNode、SecondaryNameNode、DataNode
一、NameNode(NN) 主要功能：接受客户端的读写请求并分发给DataNode，DataNode是文件的主要存储与处理的地方。而NameNode中会保存文件的元数据（metadate），包括： 1、文件的拥有者、权限、文件名等 2、文件包含的块（block） 3、这些block保存在哪个DataNode中（DataNode启动时上报） 这个metadata信息在磁盘中存储为文件“f
2018-02-06 23:15:45
3218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人