![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
黑暗森林`
我很懒,已经添加了简介。
展开
-
hadoop中 INFO ipc.Client: Retrying connect to server错误解决办法
在hadoop中运行hadoop jar MapReduce-1.0-SNAPSHOT.jar SexAndAge.AvgDriver时出现:20/11/02 20:21:18 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.10.111:803220/11/02 20:21:20 INFO ipc.Client: Retrying connect to server: node01/192.168.10.111:原创 2020-11-03 18:30:00 · 4049 阅读 · 1 评论 -
HDFS读取文件
public static void readFile() throws IOException, URISyntaxException { FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.111:8020"), new Configuration()); FSDataInputStream in = fs.open(new Path("/student.txt")); BufferedRe原创 2020-10-30 15:21:54 · 181 阅读 · 0 评论 -
HDFS向文件中追加一个文件
1、配置集群(hdfs-site.xml),必须配置才可以 <property> <name>dfs.support.append</name> <value>true</value> </property>Configuration conf = new Configuration(); conf.setBoolean("dfs.support.append", tru原创 2020-10-30 09:55:34 · 972 阅读 · 0 评论 -
HDFS向文件夹中追加一行内容
public static void Addline() throws IOException, URISyntaxException { // HDFS向文件夹中 追加 一行内容 FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.111:8020"), new Configuration()); FSDataOutputStream append = fs.append(new Path(原创 2020-10-30 08:44:05 · 740 阅读 · 0 评论 -
在hdfs的根目录下创建一个文件夹Test001
private static void CreateFile() throws URISyntaxException, IOException { FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.111:8020"), new Configuration()); boolean mkdirs = fs.mkdirs(new Path("/Test001")); if(mkdirs){ ..原创 2020-10-30 08:39:57 · 6735 阅读 · 1 评论 -
Hadoop使用方法copyToLocalFile报异常
如果在使用 copyToLocalFile 下载文件时出现Exception in thread "main" java.lang.NullPointerException解决方法: 使用 fs.copyToLocalFile(false,path,path,true)原创 2020-10-16 08:17:26 · 555 阅读 · 0 评论 -
HDFS适用场景及不适用场景
HDFS适用场景1、海量数据存储2、高容错3、商用廉价的硬件4、存储大文件5、一次写入多次读取HDFS不适用场景1、查询时效性要求低延迟的场景2、大量小文件。3、需要频繁修改数据的场景4、多个用户同时操作一个文件...原创 2020-10-14 07:51:15 · 1835 阅读 · 0 评论 -
hdfs的文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似 r:read w:write x:execute权限x对于文件表示忽略,对于文件夹表示是否有权限访问其内容如果linux系统用户zhangsan使用Hadoop命令创建一个文件,那么这个文件在HDFS当中的owner就是zhangsanHDFS文件权限的目的,防止好人做错事,而不是阻止坏人做坏事。HDFS相信你告诉我你是谁,你就是谁...原创 2020-10-12 16:00:11 · 1317 阅读 · 0 评论 -
hdfs的安全模式
安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。如果HDFS处于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基于datanode启动时的状态来判定的,启动时不会再做任何复制(从而达到最小副本数量要求),hdfs集群刚启动的原创 2020-10-12 15:59:12 · 1305 阅读 · 0 评论 -
常用命令实操
(1)-help:输出这个命令参数bin/hdfs dfs -help rm(2)-ls: 显示目录信息hdfs dfs -ls /(3)-mkdir:在hdfs上创建目录hdfs dfs -mkdir -p /aaa/bbb/cc/dd(4)-moveFromLocal从本地剪切粘贴到hdfshdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd(5)-moveToLocal:从hdfs剪切粘贴到本地hdfs dfs原创 2020-10-12 15:09:20 · 1310 阅读 · 0 评论