hdfs
qq_duhai
好记性不如烂笔头...
展开
-
ava API操作HDFS(HA模式)
Java API 操作HDFS一般有两种方式:使用HDFS客户端配置文件自动配置Java 代码中配置创建Maven项目,将下载的客户端配置文件 、 放入(注意:放到 resources根目录下)使用Java代码进行配置,则就不需要下载HDFS客户端配置文件了Java 代码中的配置从 中查找:删除HDFS客户端配置文件:执行结果:建议使用第一种:HDFS客户端配置文件进行操作HDFS, 因为当HDFS配置更改时,只需要替换配置文件即可,更加灵活。转载 2022-12-07 09:18:31 · 136 阅读 · 0 评论 -
Hdfs页面操作文件出现 Permission denied: user=dr.who, access=WRITE, inode=“/“:hadoop:supergroup:drwxr-xr问题解决
错误描述:Permission denied: user=dr.who, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x先开始一直纠结我是用hadoop用户登录操作的,为什么会是dr.who,dr.who其实是hadoop中http访问的静态用户名,并没有啥特殊含义,可以在core-default.xml中看到其配置,hadoop.http.staticuser.user=dr.who我们可以通过修改core-site.xml,配置为当前用户,转载 2022-12-06 17:05:48 · 164 阅读 · 0 评论 -
java后台读取存储在HDFS中的视频文件获取视频流后使用h5进行播放/下载
【代码】java后台读取存储在HDFS中的视频文件获取视频流后使用h5进行播放/下载。原创 2022-10-17 10:01:28 · 893 阅读 · 0 评论 -
HDFS的I/O流操作
分块读取HDFS上的大文件,比如根目录下的/hadoop-2.7.2.tar.gz。在Window命令窗口中进入到目录E:\,然后执行如下命令,对数据进行合并。// 3 定位输入数据位置。// 1 获取文件系统。// 1 获取文件系统。// 1 获取文件系统。// 1 获取文件系统。// 2 创建输入流。// 3 获取输出流。// 2 获取输入流。// 3 获取输出流。// 2 获取输入流。// 3 创建输出流。// 2 打开输入流。// 4 创建输出流。转载 2022-10-11 15:18:47 · 223 阅读 · 0 评论 -
HDFS常用命令
通过查看Hadoop的命令 与 hdfs 的命令并不相同,且不存在包含关系。仅仅是 hadoop fs 与 hdfs dfs 可以等价。转载 2022-09-15 09:49:55 · 2516 阅读 · 0 评论 -
Hadoop _ 疑难杂症 解决1 - WARN util.NativeCodeLoader: Unable to load native-hadoop library for your plat
问题描述 :WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这里描述下我出现问题的原因:主要是依赖包 版本 过低的问题。 首先我们要定位问题,出现该问题的原因主...转载 2019-12-05 17:29:18 · 737 阅读 · 1 评论 -
Hadoop HDFS 搭建 Hadoop YARN 搭建
Hadoop HDFS 搭建https://blog.csdn.net/qq_24505127/article/details/80397571Hadoop YARN 搭建https://blog.csdn.net/qq_24505127/article/details/80397604Hadoop环境搭建(单机)https://www.cnblogs.com/xuwujing...原创 2019-12-05 11:10:04 · 321 阅读 · 0 评论 -
java操作HDFS
操作步骤IDEA + MAVEN 创建JAVA工程 本地安装maven,IDEA配置maven并创建相应的maven项目 添加HDFS相关依赖 <properties> <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>//指定hadoop版本 </properties>...转载 2019-09-24 15:05:57 · 150 阅读 · 0 评论 -
hdfs shell的基本操作以及hdfsWeb查看文件
在安装好hadoop集群并成功的启动了hdfs之后,我们就可以利用hdfs对文件进行操作了,一下是对文件的一些基本操作hdfs基本操作1、查询命令 hadoop dfs -ls / 查询/目录下的所有文件和文件夹 hadoop dfs -ls -R 以递归的方式查询/目录下的所有文件2、创建文件夹 hadoop dfs -mkdir /test 创建test...转载 2019-09-24 15:04:07 · 372 阅读 · 0 评论 -
java kerberos HDFSFileService
package filesysetm.core;import java.io.File;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.security.NoSuchAlgorithmException;import org.apache.h...原创 2019-09-20 11:52:32 · 249 阅读 · 0 评论 -
Java 访问kerberos认证的HDFS文件
1、创建Maven项目,导入以下依赖,必须: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <ve...转载 2019-09-17 11:35:51 · 2411 阅读 · 0 评论