Hadoop
淡淡的倔强
不怕千万人阻挡,只怕自己投降!
展开
-
Hadoop系列(一)Docker部署Hadoop集群
搭建一个Hadoop集群环境时需要多台服务器,对于我们个人,这通常是个门槛,需要使用虚拟机,安装操作系统,然后运行起来多个虚机。安装操作系统是个不太轻松的任务,并且运行多个虚机对个人电脑性能也有一定要求,这些门槛影响了很多小伙伴的实践积极性使用Docker的话就简单了,不用安装操作系统,直接下载一个镜像,如centos,这样操作系统就有了,基于这个系统镜像运行多个容器,就相当于起了多个虚机...原创 2018-04-17 22:13:41 · 9676 阅读 · 5 评论 -
Hadoop 多次namenode -format造成datanode进程异常
之前在启动hadoop集群时,使用jps命令没有查看到datanode,但第一次启动集群时有datanode,查看datanode的相关日志,报Java IO异常“java.io.IOException”,异常信息里显示的是,namenode和datanode的clusterID不一致,这些异常就导致了后面提示初始化失败、DataNode进程退出等异常、警告信息,回想之前的操作,在停止集群后,又对...原创 2018-04-18 21:11:33 · 1827 阅读 · 0 评论 -
HDFS的Shell操作
记载下HDFS的shell操作命令一、常用命令实操(0)启动Hadoop集群(方便后续的测试)start-dfs.shstart-yarn.sh(1)-help:输出这个命令参数hadoop fs -help rm(2)-ls: 显示目录信息 hadoop fs -ls /(3)-mkdir:在hdfs上创建目录 hadoop fs -mkdir -p...原创 2018-05-28 14:07:11 · 1875 阅读 · 0 评论 -
hadoop常见错误及处理方法
如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。1、hadoop-root-datanode-master.log 中有如下错误: ER...转载 2018-06-21 10:01:42 · 3194 阅读 · 0 评论 -
hadoop关不掉namenode的解决办法
原文地址:https://blog.csdn.net/arrow8071/article/details/51365843问题描述 部门的Hadoop集群运行有一个多月了,今天需要做点调整,但是突然发现Hadoop不能正常关闭!Hadoop版本:2.6.0具体情况如下:[root@master ~]# stop-dfs.shStopping namenodes on [ma...转载 2018-06-21 10:49:05 · 5809 阅读 · 2 评论 -
hadoop 默认端口说明
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ZooKeeper。 组件 Daemon 端口 配置 说明HDFS DataNode 5001...转载 2018-06-28 21:13:04 · 7467 阅读 · 0 评论