关于HDFS元数据块丢失解决办法

缘由: 由于失误,误将hadoop.tmp.dir指定文件夹下的filecache文件删除了,由此导致存储在hdfs集群的元数据丢失,造成hadoop集群启动之后一直处于安全模式开启状态。 //查询Hadoop集群安全模式状态 [hadoop@hadoop01 ~]$hdfs dfsadmi...

2019-01-31 14:29:06

阅读数 19

评论数 0

Eclipse 连接Hadoop Connection refused 问题(已解决)

修改:vi /etc/hosts 127.0.0.1            localhost 192.168.159.128      hadoop01    www.hadoop.org 再试了一下,eclipse 成功连接了。 究其原因,可能是eclipse读取配置文件,hdfs默认名为...

2018-10-26 16:46:06

阅读数 249

评论数 0

MapReduce 的 Shuffle 机制

1.1、概述1、MapReduce 中,map 阶段处理的数据如何传递给 reduce 阶段,是 MapReduce 框架中最关键的一个流程,这个流程就叫 Shuffle;2、Shuffle: 数据混洗 ——(核心机制:数据分区partitioner,排序soft,合并combiner,缓存);3...

2018-05-25 17:29:23

阅读数 41

评论数 0

解决MapReduce中多个小文件合并成大文件问题

package inputformat; import java.io.IOException; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apac...

2018-05-25 16:29:35

阅读数 755

评论数 1

MapReduce多表join

本文以user.log、goods.log两张表的合并来举例。1、编写mapper类class JoinMRMapper extends Mapper<LongWritable, Text, Text, Text> { @Override p...

2018-05-23 11:21:16

阅读数 138

评论数 0

Hadoop中创建maven项目是需要的pom依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&quo...

2018-05-11 10:44:02

阅读数 1063

评论数 0

hadoop多次(两次以上)初始化以后,无法启动DataNode节点(已解决)

1、问题描述:  多次格式化文件系统时,会出现datanode无法启动2、问题产生原因:  执行文件系统格式化时(即执行命令$ bin/hadoop namenode -format 后),会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个curren...

2018-05-11 10:31:55

阅读数 1284

评论数 0

关于CRT连接失败,出现 openssh-daemon is stopped 问题

问题:1、输入 service sshd start  之后 , 显示 sshd 启动成功;2、输入service sshd status 查询状态时,却显示 openssh-daemon is stopped。解决方法:1、首先用yum remove openssh-server删掉原先的包;2...

2018-05-09 14:35:01

阅读数 670

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭