hadoop
leehsiao
这个作者很懒,什么都没留下…
展开
-
Hadoop 组件之 HDFS
1、HDFS 是什么 HDFS(Hadoop Distributed File System )Hadoop 分布式文件系统。由论文为GFS(Google File System)Google 文件系统启发,是Google GFS 的开源Java 实现。 2、HDFS 组件角色 2.1NameNode HDFS 元数据管理者,管理NameSpace(文件系统命名空间),记录文件是如...原创 2020-01-19 15:30:32 · 183 阅读 · 0 评论 -
Hadoop MapReduce Shuffle 详解
一、什么是Shuffle机制 在MapReduce中,shuffle更像是洗牌的逆过程,指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据,以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前,具体可以分为map端和reduce端前后两个部分。在shuffle之前,也就是在map阶段,MapReduce会对要处理的数...原创 2020-01-17 12:06:32 · 2031 阅读 · 0 评论 -
hadoop在linux环境下的安装
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->原创 2015-11-22 22:26:27 · 377 阅读 · 0 评论 -
CentOS6下安装Java jdk1.7.0_10
安装步骤如下: 1. 下载JDK7.0_10 (jdk-7u10-linux-i586.tar.gz) 地址: 2. 卸载系统自带的开源JDK 查看是否安装JDK rpm -qa | grep java 显示如下信息: java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 java-1.6.0-openjdk-1转载 2015-11-22 23:18:21 · 1057 阅读 · 0 评论 -
hadoop2.6.2启动 发现DataNode没有启动启来
hadoop2.5.2 启动成功后,用jps查看:感觉少了DataNode 确实少了DataNode。 查看日志: 从日志上看,画线的部分说明了问题 datanode的clusterID 和 namenode的clusterID 不匹配。 解决办法: 根据日志中的路径,cd /home/hadoop/dfs 能看到转载 2015-11-24 22:02:36 · 444 阅读 · 0 评论