hadoop
LzwGlory
坚持自己的路
展开
-
Hadoop面试题
Hadoop MapReduce采用Master/Slave结构1. 列举出hadoop中定义的最常用的InputFormats.哪个是默认的? TextInputFormat(默认)用于读取纯文本文件,key是每一行的位置偏移量,是LongWritable类型的,value是每一行的内容,为Text类型 KeyValueTextInputFormat 同样用于读取转载 2016-11-20 18:35:50 · 1102 阅读 · 0 评论 -
java.io.IOException: All specified directories are failed to load
2015-09-02 01:17:37,962 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/data1: namenode clusterID = CID-c7970b3b-e127-4054-ba7b-773原创 2016-12-22 10:14:05 · 6813 阅读 · 0 评论 -
ERROR:格式化hdfs时出现connection-refused
解决方法: (先确保你的每个节点网络设置中 勾选了 Available to all users) 重点来了!!!——> 先用./zkServer.sh start 启动各个zookeeper,再用./ Hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。然后再进行格式化即可。问题描述:Re-form转载 2017-01-31 10:36:25 · 813 阅读 · 0 评论 -
启动Hadoop时,DataNode启动后一会儿自动消失的解决方法
查看slaver1/2的logs,发现FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000java.io.I转载 2017-01-31 11:54:57 · 780 阅读 · 0 评论 -
Hadoop 2.x HDFS和YARN的启动方式
一.三种启动方式介绍 方式一:逐一启动(实际生产环境中的启动方式) hadoop-daemon.sh start|stop namenode|datanode| journalnode yarn-daemon.sh start |stop resourcemanager|nodemanager 方式二:分开启动 star转载 2017-02-01 12:34:50 · 3881 阅读 · 0 评论