搭建Hadoop集群过程中常见错误的解决方案

本文详细描述了Hadoop中遇到的常见问题,如格式化错误、权限设置、主机名解析问题、运行模块不全、Web服务访问受限等,并提供了相应的解决方案,包括文件系统操作和环境配置。
摘要由CSDN通过智能技术生成

格式化报错

权限问题

出现cannot creat directory或cannot creat file类型

如下报错信息:

cannot create directory Permission denied

如果使用的是 user 用户,多数情况下是因为文件权限问题,hadoop3.3.1、big_data(存数据)、log_hadoop(存日志) 文件都要将权限给 user。

主机名问题

不识别主机名称,如下报错信息:

java.net.UnknownHostException: hadoop102: hadoop102
java.net.InetAddress.getLocalHost(InetAddress.java:1475)

解决方案:检查 etc/hosts 文件配置和主机名称,不要起一些奇怪的主机名。

主机名称更改地址 /etc/hostname

运行模块进程不全

未格式化

如果集群是第一次启动,需要在 hadoop102 节点格式化 NameNode

hdfs namenode -format

DN和NN进程同时只能工作一个。

如果不是第一次格式化,则需要先停掉 namenode 和 datanode 进程,再删除所有机器上的 big_data(存数据) 和 log_hadoop(存日志) 文件夹,然后重新创建 big_data 和 log_hadoop 文件夹,将权限全部给到 user,再进行格式化。(如果没有配置这些,默认路径在 /tmp 目录下)

因为格式化 NameNode,会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致,集群找不到已往数据。

Hadoop103,Hadoop104无进程

原因:ssh没有配置好。

jps无法使用

原因:如果不是用 rpm 安装需要去 /etc/profile 文件下配置环境变量。rpm 安装默认在 /usr/java/default 不需要配置环境变量。

jps无进程,但是启动集群显示正在运行

原因:是在 Linux 的根目录下 /tmp 目录中存在启动的进程临时文件,将集群相关进程删除掉,再重新启动集群。

Web端打开不了

原因有以下几种:

1)防火墙没关闭

systemctl stop firewalld.service 
systemctl disable firewalld.service 

2)模块没有启动

3)主机名称配置错误

4)IP地址配置错误

5)如果只是8088端口无法打开。

vim /etc/hosts

注释或删除如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         hadoop102 

测试中文件上传和计算问题

报错内容:

INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/root/.staging/job_1510302622448_0003

出错原因:单机读取的是本地的文件,分布式环境下需要从hdfs 上读取文件。

解决方案:将本地的文件上传到 hdfs 上,然后再运行可以成功执行。

报错内容:

Output directory xxx already exists

出错原因:输出目录已存在

解决方案:修改输出目录,输出目录需要为空目录,所以在后面随便加上一个目录名,则会在 /output 目录下创建目录,如果是多次计算每次都需要指定不同的目录用于存储结果。

Hadoop文件系统命令参考:FileSystem Shell

下面给出几个常用命令

1 新建文件夹

hadoop dfs -mkdir [-p] <paths>  

2 上传本地文件

hadoop fs -put localfile /hadoopdir

3 查看hadoop文件

hadoop fs -ls /hadoopfile
hadoop fs -ls -e /hadoopdir

4 修改文件夹权限

hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

5 删除文件夹

hadoop fs -rm -r /hadoopdir
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值