Hadoop
x²+(y-√³x²)²=1
你的穷途末路,却带给其他人未知的过往。
展开
-
Yarn启动报错,ERROR: Cannot set priority of registrydns process xxxxx
Yarn启动报错,ERROR: Cannot set priority of registrydns process xxxxx原创 2022-07-13 09:28:26 · 1162 阅读 · 0 评论 -
Linux,Hadoop中关于组、用户的操作
1、Linux中关于用户、组的一些操作查看当前登录用户名whoami查看当前登录用户的组内成员groups查看用户 zhangsan 所在的组,以及组内成员groups zhangsan# 显示情况zhangsan : group_name在Linux中添加一个组:groupadd 组名在Linux中添加一个用户:useradd 用户名#或者adduser 用户名新建用户后,将会在/home目录下生成一个与用户名相同的用户主目录,同时会创建一个新原创 2021-01-21 22:33:34 · 810 阅读 · 0 评论 -
启动HDFS,由于block丢失过多进入安全模式(safe mode)
https://blog.csdn.net/wwg18895736195/article/details/84067412https://www.pianshen.com/article/7626374810/转载 2021-01-07 09:37:38 · 360 阅读 · 0 评论 -
java.lang.NoClassDefFoundError: org/htrace/Trace
接触过大数据开发的同学,几乎都会遇到这个错误java.lang.NoClassDefFoundError: org/htrace/Trace网上的解决方式层次不齐。其实这是大数据生态圈所依赖的一个 jar 包,造成此错误的原因在于 代码/软件 启动的时候,无法正常从我们的 jar 目录加载到它所需要的 jar 包。所以,直接将包添加到 jar 目录是无法解决此问题的,而我们需要做的是,给它指明所依赖软件的 CLASSPATH 的路径(在配置文件中,或者加到环境变量中),在它不能找到所需要的 jar 包时原创 2020-11-20 10:55:27 · 272 阅读 · 0 评论 -
HDFS上传文件,报错unexpected URISyntaxException
目的:将某zip上传到HDFS某目录hadoop fs -put "20180720_155245 label.zip" /user/File/put: unexpected URISyntaxException解决:将空格改为%20hadoop fs -put "20180720_155245%20label.zip" /user/File/HDFS路径不支持包含冒号,如果是空格,则使用%20代替如果是含有冒号,也会报错。现在官方也没有给出明确的建议。hdfs dfs put unexp原创 2020-11-08 22:01:26 · 2288 阅读 · 0 评论 -
HDP安装HttpFS服务踩坑指南
我对hadoop的HttpFS服务有问题。当我尝试卷曲一些资源时:curl -i http://192.168.4.180:14000/webhdfs/v1/user/hadoop/?op=LISTSTATUS我得到的答复是:HTTP/1.1 404 Not FoundServer: Apache-Coyote/1.1Content-Length: 0Date: Mon, 17 Aug 2015 08:57:47 GMT但是,当我尝试对webhdfs做同样的工作时:curl -i htt原创 2020-11-08 12:31:56 · 498 阅读 · 3 评论 -
HtttpFS日志配置,用来监控用户的访问信息
htttpfs日志配置,用来监控连接的用户信息原创 2020-11-08 09:42:49 · 182 阅读 · 0 评论 -
HttpFS的安装以及操作详解
一、HttpFS的简介在项目中使用到 HDFS 作为存储,为了在不同的环境下都可以使用 HDFS 上的数据,我们使用采用了 HttpFS 服务,这样不需要部署 Hadoop 的环境,就可以访问到了,无论是 Windows 还是 Linux 。为什么不用 WebHDFS 呢?因为这个我们的集群namenode是HA的,所以在访问文件前,需要确认 Active 的 NameNode,而且比较不爽的事,如果客户端的机器 /etc/hosts 中需要配置所有的 Datanodes 机器信息。后来找到的解决方案是原创 2020-10-30 22:39:26 · 1703 阅读 · 0 评论 -
查看hdfs各目录分别占用多少空间
hadoop fs -du -h /原创 2020-10-10 15:16:30 · 1276 阅读 · 0 评论 -
Hadoop中,所有用户权限失效的问题
今天发现了个很尴尬的问题,无论使用什么用户,都可以增删改 HDFS 文件系统中的文件,找了半天原因,原来是参数设置的问题,原来是在之前安装 Hadoop 时,将 hdfs-site.xml 中 dfs.permissions.enabled 参数设为了 false ,应该将其设置为 true 就可以恢复正常namedescriptionvaluedfs.permissions.enabled是否在HDFS中开启权限检查truedfs.namenode.acls.enable原创 2020-06-21 11:14:38 · 378 阅读 · 0 评论 -
执行java代码报错:Access denied for user Administrator,Superuser privilege isrequired
产生这个问题的原因是,Administrator 并不是我的 HDFS 的超级用户,无法操作 HDFS1、如何为Hadoop创建新用户HDFS 本身并没有提供用户名、组等的创建和管理,在客户端操作 Hadoop 的文件操作命令时,Hadoop 自动识别执行命令所在的进程的用户名和用户组,然后检查这个用户名和组是否具有权限来操作。HDFS 支持权限控制,但支持较弱。HDFS 的设计是基于 POSIX 模型的,支持按用户、用户组、其他用户的读写执行控制权限注:启动Hadoop的用户即为超级用户,可以进行原创 2020-06-21 11:10:50 · 576 阅读 · 0 评论 -
打开HDFS的50070管理界面,无权限浏览文件目录
今天在使用 HDFS 的 50070 页面浏览文件的时候,发现有个文件夹无法打开,显示以下信息(权限不足)Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":hadoop:supergroup:drwx------刚开始很纳闷,这个 dr.who 是个什么鬼,我在 Linux 上也没有这样的用户啊。最后在 hadoop 官网的 core-default.xml 发现了这个参数http://hadoop.apache.or原创 2020-06-21 10:49:05 · 1087 阅读 · 0 评论 -
HDFS文件限额操作
hdfs文件的限额配置允许我们以文件大小或者文件个数来限制在某个目录下上传的文件数量或者文件内容总量,以便达到类似百度网盘网盘等限制每个用户允许上传的最大的文件的量。数量限额执行以下命令进行文件数量限额hadoop fs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件,上传文件,发现只能上传一个文件hdfs dfsadmin -clrQuota /user原创 2020-05-28 00:03:09 · 192 阅读 · 0 评论 -
利用 HDFS inotify:解析 Edit 文件,近实时地监控文件变化
pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd原创 2020-05-17 21:34:51 · 1153 阅读 · 0 评论 -
浅谈 Java API 与 shell 命令行操作 HDFS,实现增删改功能
Java API 使用的是 HDFS 的 Restful 风格来实现增删改的功能。与 shell 命令行增删改实现的逻辑不同。以下分析都是根据 DFSinotifyeventinputstream (Hadoop 2.6 引入的新功能)类(包含有 CREATE , CLOSE , APPEND , RENAME , METADATA , UNLINK ,6种事件类型)来比较两者的不同。区别一、上传文件使用 shell 命令行上传文件假如上传一个 a.txt,首先通过 inputstream原创 2020-05-17 21:09:51 · 571 阅读 · 0 评论 -
Hadoop REST API – WebHDFS使用详解
1、检查目录状态 Check directory status命令:curl -i "http://localhost:50070/webhdfs/v1/tmp?user.name=istvan&op=GETFILESTATUS"#或者(去掉引号也可以)curl -i http://localhost:50070/webhdfs/v1/tmp?user.name=istvan&op=GETFILESTATUS参数说明:命令中的示例字段实际操作时的字段说明原创 2020-05-15 16:54:33 · 2820 阅读 · 0 评论