DCHAO的博客

cdh开启gateway（NN2的core.site 3个配置和kerberos的配置会自动配好）gateway节点手动安装nfs-utilsGateway的hfds.site 2个配置（在cdh中hdfs-site.xml中的NFS配置段配）挂载本地目录的权限无法修改，但会自动同步hdfs目录的。所以如果要建不同属主的目录，要在hdfs中建...

nfs服务可以让远程客户端以访问本地文件的形式访问远程hdfs目录官文overviewnfs gateway支持NFSv3，将hdfs目录挂载到远程客户端的本地文件系统中。主要有以下场景：使用NFSv3 client浏览hdfs目录下载上传用户可以通过挂载点直接将数据流传输到HDFS。支持文件追加，但不支持随机写The NFS gateway machine needs the same thing to run an HDFS client like Hadoop JAR files,

SRC没有找到直接修改的文档，包括cdh和kerberos的官网所以决定先暂停cdh的krb，然后重新修改realm，然后重新创建krb数据库。最后在cdh页面中走一遍流程暂停cdh的krb重新配置krb1. 在kdc节点上关闭kadmin和kdc服务systemctl stop krb5kdc;systemctl status krb5kdc;systemctl stop kadmin;systemctl status kadmin;2. 修改/var/kerberos/krb5kdc/k

_SUCCESSconf.set("mapreduce.fileoutputcommitter.marksuccessfuljobs","false"); 亲测

SRC主要就是2个实现类TextOutputFormat和SequenceOutputFormatspark的rdd的saveAsTextFile()方法底层默认调的其实也是TextOutputFormat，这有2个问题：1是无法指定文件名（这个其实不是问题，因为逻辑上只需要指定目录名即可，分布式的情况下一个文件肯定要分成多个部分，给每个部分指定名称无意义）2是无法满足一些个性化需求所以需要自定义OutputFormat的作用就是把内存中一个个的kv变成文件usage1. 继承FileOut

hdfs级联创建文件hdfs dfs -mkdir -p /user/cib/test1chown递归认证时，如果是多级目录，只会改最后一级目录的主组。下面的语句执行后，/user还是hdfs，下面的cib改成了cibhdfs dfs -chown -R cib:cib /user/cib

一、SRChttps://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_sg_hdfs_ext_acls.htmlHDFS支持POSIXAccess Control Lists（ACL），也就是传统的POSIX权限控制。类似于Linux文件系统权限。但更强大，每个文件可以设置多个属主、属组，每个主和组又可以单独设置权限...

查看一个hive表的总容量db_name=$1table_name=$2hadoop fs -du /user/hive/warehouse/db_name.db/table_name|awk ’ { SUM += $1 } END { print SUM/(102410241024) }’

hdfs-javaAPIdeleterename

hdfs常用命令