HDFS遇到的问题

最新推荐文章于 2021-12-14 02:27:25 发布
最新推荐文章于 2021-12-14 02:27:25 发布
阅读量729 收藏
点赞数
文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42311968/article/details/102977950
版权

1.执行hdfs dfs -ls /后返回空白内容

分析：没有创建hdfs文件

执行以下代码，即创建一个/test文件：

hdfs  dfs  -mkdir  /test

 查看是否成功：

法1：再次执行查看命令，就能看见创建的文件名

法2：登录node01:50070-Utilities-->输入“/”后搜索查看

出现的   2019-11-08 17:46:45,666 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  是一个警告，可以忽略。

分析：库的版本不一样，修改即可（下次补充）

 

黄黄黄黄黄莹
关注
HDFS完全分布式集群搭建与配置及常见问题总结
sinat_59165308的博客
09-15 1208
实验
hadoop dfs -ls 不起作用的问题
xiongjiezk的专栏
12-27 8465
在hdfs上创建文件，查看文件时，发现使用如下明明并不生效hadoop fs -mkdir /data创建文件失败 查看文件`hadoop fs -ls /`data则提示ls: Cannot access /data: No such file or directory.查看文件hadoop fs -ls /显示的是系统的根目录。 查了一下，说是新版的hadoop使用hadoop dfs -l
熟悉HDFS过程中遇到的问题
qq_40754837的博客
10-23 427
熟悉HDFS过程中遇到的问题 1.乌班图系统的网络无法连接 问题：显示灰色扇形，不是上下箭头的图标 解决方法：此电脑右键管理，打开服务，将于VMware相关的启动 2.乌班图系统无法打开 问题：后来再次打来乌班图系统，发现无法进入，显示很多语句，主要是initramfs而无法开机 解决方法： （1）进入系统后，然后随便打开一个终端，用超级用户权限执行命令。 （2）执行 sudo fdisk -l​...
hdfs会出现的一些问题
weixin_30532837的博客
07-17 174
实训的第一篇博客献给坑了我的hdfs…… 由于电脑的原因，突然花屏，虚拟机来不及挂起。之后发现50070端口进不去，查看jps进程发现没有namenode 先用stop-all.sh命令再start还是不可以 通过查阅资料发现只能格式化namenode，有的解决方法提到由于节点默认配置在linux的临时目录tmp中，所以要修改配置文件core-site.xml 增加节点hadoop.t...
hadoop中HDFS命令遇到的问题
Arongwang的博客
12-14 2653
在已经配置好hadoop的环境下，查看hdfs所有目录 如下命令不起作用 ./bin/hdfs dfs -ls . // 应该更改为 hdfs dfs -ls / 同理 查看user/hadoop/input目录内文件情况 hdfs dfs -ls /user/hadoop/input 上传到指定目录 // hdfs dfs -put /本地文件目录 hdfs目录 // 例如 hdfs dfs -put /home/hadoop/myLocalFile.txt input //
Hadoop学习---HDFS的常用shell命令详解
qianfeng_dashuju的博客
05-12 770
注意:访问hdfs系统的指令 hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小 hadoop fs 和 hdfs dfs之间没有太大的区别 1. 在命令行中输入hdfs，回车后，就会提示hdfs后可以使用哪些命令，其中有一个是dfs。 2. 在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令 常用shell命令 注意：分布式文件系统的路径在命令行中 要从/开始写，即绝对路径 ​ 1. 创建目录
HDFS相关问题.zip
03-03
此压缩包文件"**HDFS相关问题.zip**"包含了一份文档，很可能是针对HDFS在实际应用中可能遇到的问题及其解决方案的详细讨论。标签为"**java**"，暗示了HDFS的实现与Java编程语言密切相关。由于我们无法直接查看压缩包...
Spark hadoop票据过期问题HDFS_DELEGATION_TOKEN
01-20
在本案例中，Spark Streaming应用程序遇到的问题是HDFS_DELEGATION_TOKEN（HDFS委托令牌）过期，导致程序无法继续运行。 问题背景： Spark Streaming应用程序在运行7天后自动退出，日志中显示一个与用户相关的HDFS_...
JAVA API访问HDFS遇到的一些问题
weixin_42242029的博客
07-23 1828
1.缺少jar包依赖 maven依赖需要引入hadoop-common/hadoop-auth/hadoop-hdfs等，我在开发过程中还遇到以上三个jar包使用google的jar包依赖缺少/版本不对的问题，依次引入就好。 2.windows环境下使用开发工具进行远程连接测试，报could not locate executable null\bin\winutils.exe in hado...
hdfs中常遇到的问题
最新发布
05-26
在使用Hadoop分布式文件系统（HDFS）时，可能会遇到以下一些常见问题： 1. 数据丢失或损坏：HDFS会自动进行数据备份，但是如果备份的副本数量不足或者磁盘出现故障，数据可能会丢失或损坏。 2. 网络问题：由于HDFS...
按照官方文档重装 跨不过去的坎儿：hdfs dfs -ls / 搜不到任何hdfs根目录
u011495642的博客
10-23 1953
可能是我跟着别人的博客来安装的，落下了什么东西，反正基本的都起来了，今天晚上的任务就是把这些hadoop3.0.3 重装。 按照官方文档：http://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Overview...
hdfs dfs -ls后出现No such file or directory解决
热门推荐
binbin_09_10的博客
10-25 2万+
原因是因为-ls默认目录是在hdfs文件系统的/user/用户名（用户名就命令行@符号前面的那个东西），但是你的hdfs系统内没有这个文件夹，所以会显示No such file or directory。 所以你需要在hdfs文件系统内创建 root1@ubuntu:~$ hdfs dfs -mkdir /user mkdir: Cannot create directory /user. ...
hadoop集群format后，hadoop fs -ls /结果为空的分析过程
rock718love的博客
05-07 2164
首先集群已经是使用过hive一段时间，然后手欠给format了，集群启动后执行hadoop fs -ls /发现结果为空，但是在hive中又能查到库的信息，如图： 可以看到hive中的配置信息中并没有指定warehouse的路径，所以为默认，如图： 此时再hive中随便创建名为的aaa的数据库 然后尝试删除之前的test库时报错： 结合上述截图，说明hive中显示的只是之前的元数据信息，本...
诡异的hdfs dfs -ls /无法执行 提示远程调试
JacksonKing的专栏
05-16 2155
目录 执行查看hdfs目录命令发现无法查看，停在远程调试 lsof -i:查出进程id，再找出对应的进程 在bin/hdfs脚本中找到对应的远程调试 把远程调试的参数去掉即可。 今天在生产排查磁盘满问题的时候，发现无法查看生产的hdfs目录 执行查看hdfs目录命令发现无法查看，停在远程调试 /usr/local/hadoop-2.6.3/bin/hdfs dfs -ls / ...
hadoop dfs -ls / 显示不出来killed掉了，报错Java heap space
周源的专栏
06-03 787
问题原因：根目录下生成太多的小文件，导致元数据加载到client客户端时会引起内存不足 解决办法： 加大HADOOP_CLIENT_OPTS的配置， export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS" HADOOP_CLIENT_OPTS="-Xmx2048m" hadoop dfs -ls / 发现hadoop根目录都是*...
Hadoop3.0.3 提:hdfs 指令未找到
zhouzhiwengang的专栏
11-24 3148
Hadoop安装完成后，想执行hadoop命令，结果报错：hadoop：未找到命令。 原因是hadoop的安装路径没有加入到当前路径中。解决办法有两个： 一．进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin./sbin 二．在/etc/profile文件中添加hadoop的安装路径： sudovim/etc/profile 加入： exportHAD...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值