# Hadoop安装(伪分布式)常见问题解决及Hadoop常用命令

最新推荐文章于 2022-08-29 21:53:06 发布
最新推荐文章于 2022-08-29 21:53:06 发布
阅读量2.2k 收藏 9
点赞数 1
分类专栏： Hadoop的学习总计 文章标签： Hadoop伪分布式安装常见问题 Hadoop常用命令 Hadoop初步学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41822745/article/details/83894111
版权
本文详细介绍了Hadoop伪分布式安装过程中遇到的权限不足、非法反射、目录缺失以及DataNode未启动等常见问题，并提供了解决方案。同时，列举了Hadoop常用命令，包括创建目录、查看文件、文件操作、安全模式管理等，是Hadoop初学者的实用指南。
摘要由CSDN通过智能技术生成

Hadoop安装常见问题

一、权限不足问题

对于hadoop安装文件的权限不足会出现以下的错误

错误：Cannot create directory /usr/local/hadoop/hadoop-2.8.3/tmp/dfs/name/current
解决方法:sudo chmod -R a+w /usr/local/hadoop/hadoop-2.8.3

给与这个安装文件夹充足的权限，允许在这个安装文件夹下面创建文件

二、非法反射问题

错误：An illegal reflective access operation has occurred
解决方法：配置JAVA环境变量的时候，JDK 9以上版本对于第一次反射都有警告,安装jdk9以下的版本就不会有了，建议安装jdk8，本人用得就是这个版本
什么是JDK反射

JAVA反射机制是在运行状态中，对于任意一个实体类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意方法和属性；这种动态获取信息以及动态调用对象方法的功能称为java语言的反射机制。

三、没有文件夹

最低0.47元/天 解锁文章
weixin_41822745
关注
专栏目录
关于hadoop学习伪分布式安装等以及遇到的问题及解决办法
赤蓝基族长
03-23 1519
一、介绍 本文首先介绍的是关于结合阿族在学习过程中遇到的问题解决办法，然后是安装的过程，qwq因为以前学linux的时候也没有认真听讲，就导致很多问题和错误，然后网上的很多解决办法和教程不一定适合每个人的情况和问题，但是在不断修改的过程也可以成长，再就是现在也有我自己遇到还没解决的问题。 二、错误 1、已解决的问题 ①关于关于设置静态IIP没什么好说的，我放几张图，自己一阿族开始在配置的时候漏了好多点 要根据网络编辑器的信息填写静态的ip地址设置不同的节点的时候静态Ip设置的地址在dhcp的范围就好
hadoop构建伪分布式环境时，可能的出错处理 比如8088打不开
weixin_39435629的博客
12-06 2618
基于本人写的hadoop伪分布式环境搭建讲解： 链接：https://blog.csdn.net/weixin_39435629/article/details/84841252 查错常用命令汇总： $>jps    (查看hadoop的启动进程) $>ps -ef | grep java (查看java中的进程） $>netstat -tnlp (查看启动运行的端口)...
搭建hadoop伪分布式集群环境过程中遇见的问题总结
xuexi_39的博客
10-11 3967
1、网络配置问题： 在centos7中配置网络环境后，本机（win10系统）与虚拟机centos7网络不通（本机可以ping通虚拟机，但是虚拟机ping不通本机）； 解决方式： 方式1：查看本机win10系统的防火墙是否关闭，若没有，直接关闭win10系统的防火墙即可； 方式2：修改本机配置：windows防火墙-高级设置-入站规则-虚拟机监控（回显请求-ICMPv4-Ln），把这项启用即...
虚拟机中启动hadoop报出Cannot create directory /tmp/hive/root/c6cf18ba-fc23-4385..........
BigData_C的博客
05-21 743
原因分析：因为hadoop的安全模式导致dbeaver不能连接hive报错 解决办法：关闭安全模式，在hadoop的安装目录执行命令：bin/hadoop dfsadmin -safemode leave
hadoop fs -mkdir -p /user/hadoop执行后无效，不报错但ls看到创建不成功
黄佳俊的博客
10-10 713
具体不知道为啥 但hadoop fs -mkdir -p user/hadoop就能成功 （把user前的/去掉）
hadoop的伪分布式模式配置与安装伪分布式模式
最新发布
11-26
【标题】: "Hadoop伪分布式模式的配置与安装指南" 【内容】: Hadoop是一个开源的分布式计算框架，主要用于处理和存储大量数据。在学习和测试Hadoop时，我们通常会采用伪分布式模式，它在单个节点上模拟整个Hadoop...
hadoop伪分布式安装.pdf
10-22
### Hadoop伪分布式安装知识点详解 #### 一、Hadoop伪分布式概述 Hadoop是一种能够处理海量数据的大规模分布式计算框架。它通过将任务分解到多个计算机节点上并行处理来提高数据处理效率。Hadoop支持多种运行模式，...
Hadoop单机伪分布式安装
03-20
Hadoop单机伪分布式安装 Hadoop 是一个开源的大数据处理框架，由 Apache 软件基金会开发和维护。Hadoop 的核心组件包括 HDFS（Hadoop Distributed File System）、MapReduce 和 YARN（Yet Another Resource ...
【Hadoop】Hadoop常见的操作命令
qq_37472274的博客
08-09 1367
【Hadoop】Hadoop常见的操作命令
mkdir的参数-p的作用
abcdefg的专栏
06-30 903
可以在文件与文件夹已创建时不会报错和警告 如果没有： mkdir **** 报错： mkdir: cannot create directory `****': File exists 加-p则会解决这个问题
hadoop伪分布式配置修改配置文件的时候无法保存（没有权限保存）
qq_43941925的博客
03-05 4769
使用gedit ./etc/hadoop/core-site.xml命令打开core-site.xml文件，这是只读方式打开文件，修改完后不能保存。 解决方法：命令前加sudo！
hadoop伪分布式配置及遇到的问题
01-12 4372
一、运行wordcount例子 在hadoop上新建目录，然后用put程序将linux中的文件input1.txt和input2.txt输入到hadoop文件系统中的/tmp/input/中   hadoopfs -mkdir /tmp/input hadoopfs -mkdir /tmp/output hadoopfs -put input1.txt /tmp/input/ hado
Hadoop伪分布式配置【存档】
weixin_44373409的博客
12-05 432
因为课程需要，所以在linux系统里配置了一下hadoop，最终成功了，分享一下我的配置参考和记录的存档。 参考链接： http://dblab.xmu.edu.cn/blog/2441-2/ https://blog.csdn.net/Honiyo/article/details/101789304 https://blog.csdn.net/stpeace/article/details/79426471 安装jdk成功 sudo tar -zxvf ~/jdk-8u271-linux-x64.tar.
Hadoop文件写入权限不足
cts618
05-26 1578
在windows的idea中访问执行时，会向linux下的hadoop提交文件，可能会发生权限问题，原因是执行时，idea会将当前windows登陆用户做为hadoop用户来提交文件。因此会导致权限不足的问题 解决办法 ：在执行程序的Edit Configurations中 做如下设置，把VM options或Environment variables中加入 -DHADOOP_USER_NAME=xxxxxx （你的hadoop用户） ...
配置Hadoop格式化namenode时报错cannot create directory /usr/local/hadoop/tmp/dfs/name/current
weixin_51355600的博客
04-22 5882
格式化namenode时，通过以下字句验证是否成功 status 0 为操作成功，status 1为操作失败，往上翻查找错误原因 该错误是由于权限问题导致的 我们通过 sudo su 进入root操作，然后输入命令，usr/local/hadoop为自己的Hadoop地址（可能会和笔者不一样），如果不确定通过报错的那一行字可以查看 sudo chmod -R a+w /usr/local/hadoop 然后再格式化就成功了 ...
Hadoop伪分布式安装，ERROR namenode.NameNode: Failed to start namenode.
m0_38123034的博客
12-27 3742
Hadoop伪分布式安装，配置完成后，执行 NameNode 的格式化: $./bin/hdfs namenode -format 出现以下错误： ERROR namenode.NameNode: Failed to start namenode. java.io.IOException: Cannot create directory /usr/local/hadoop/tmp/dfs...
Hadoop伪分布式安装教程——踩坑经验以及顺利安装的方法
weixin_52135595的博客
08-29 4122
在上上篇安装Hadoop的教程里，到了伪分布式这一步，总是卡在启动这一步，数据节点不知道为什么就是权限不够开不了，要么就是进程占用，在杀死进程之后，整个Hadoop出现瘫痪。查遍全网的资料，都说要用chown给他777超级权限，但是我试了两天，发现这个方法似乎不太可行（个人看法），但是在之前linux中配置opencv时也遇到过类似问题，最后是使用root换源来解决的。所以我想用root用户来启动hdfs，查阅资料后发现可行，所以重装系统，开始实践。在实践之后，最后顺利启动节点。话不多说，上教程。.....
启动hadoop报出一串警告
weixin_43968936的博客
10-20 4409
启动hadoop，包括使用hadoop中的hdfs进行一系列操作，都会报出这一串的警告，但是运行也是正常，但是着实影响体验。 WARNING: An illegal reflective access operation has occurred WARNING: Illegal reflective access by org.apache.hadoop.security.authenticat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值