【大数据】HDFS用户客户端命令行(User Client Commands)详细使用说明

已于 2023-03-10 07:54:27 修改
阅读量1.6k 收藏 1
点赞数 1
分类专栏： Hadoop 大数据 devops 文章标签： hdfs 大数据 hadoop
于 2023-03-08 07:47:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013412066/article/details/129395497
版权
大数据 同时被 3 个专栏收录
71 篇文章 2 订阅
订阅专栏
Hadoop
36 篇文章 5 订阅
订阅专栏
devops
20 篇文章 1 订阅
订阅专栏

User Commands

概览

所有的HDFS命令都是执行bin/hdfs脚本，当执行此脚本时，如果不带任何参数，就会打印使用说明usage。

Usage: hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]

  OPTIONS is none or any of:

--buildpaths                       attempt to add class files from build tree
--config dir                       Hadoop config directory
--daemon (start|status|stop)       operate on a daemon
--debug                            turn on shell script debug mode
--help                             usage information
--hostnames list[,of,host,names]   hosts to use in worker mode
--hosts filename                   list of hosts to use in worker mode
--loglevel level                   set the log4j level for this command
--workers                          turn on worker mode

  SUBCOMMAND is one of:


    Admin Commands:

cacheadmin           configure the HDFS cache
crypto               configure HDFS encryption zones
debug                run a Debug Admin to execute HDFS debug commands
dfsadmin             run a DFS admin client
dfsrouteradmin       manage Router-based federation
ec                   run a HDFS ErasureCoding CLI
fsck                 run a DFS filesystem checking utility
haadmin              run a DFS HA admin client
jmxget               get JMX exported values from NameNode or DataNode.
oev                  apply the offline edits viewer to an edits file
oiv                  apply the offline fsimage viewer to an fsimage
oiv_legacy           apply the offline fsimage viewer to a legacy fsimage
storagepolicies      list/get/set/satisfyStoragePolicy block storage policies

    Client Commands:

classpath            prints the class path needed to get the hadoop jar and the required libraries
dfs                  run a filesystem command on the file system
envvars              display computed Hadoop environment variables
fetchdt              fetch a delegation token from the NameNode
getconf              get config values from configuration
groups               get the groups which users belong to
lsSnapshottableDir   list all snapshottable dirs owned by the current user
snapshotDiff         diff two snapshots of a directory or diff the current directory contents with a snapshot
version              print the version

    Daemon Commands:

balancer             run a cluster balancing utility
datanode             run a DFS datanode
dfsrouter            run the DFS router
diskbalancer         Distributes data evenly among disks on a given node
httpfs               run HttpFS server, the HDFS HTTP Gateway
journalnode          run the DFS journalnode
mover                run a utility to move block replicas across storage types
namenode             run the DFS namenode
nfs3                 run an NFS version 3 gateway
portmap              run a portmap service
secondarynamenode    run the DFS secondary namenode
sps                  run external storagepolicysatisfier
zkfc                 run the ZK Failover Controller daemon

SUBCOMMAND may print help when invoked w/o parameters or with -h.

命令详解

classpath

该命令主要为打印Hadoop jar中所加载的类classpath路径

用法

COMMAND_OPTIONDescription
--glob展开通配符，默认的是lib/*, 加上 glob 参数后，直接展示lib/下的所有jar文件
--jar path将classpath写入到mainfest中，生成一个jar包
-h, --help打印帮助

此命令调用的是 org.apache.hadoop.util.Classpath 类

bin/hdfs classpath

[root@hadoop-1 hadoop-3.3.1]# bin/hdfs classpath
/data/apps/hadoop-3.3.1/etc/hadoop:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/*:/data/apps/hadoop-3.3.1/share/hadoop/common/*:/data/apps/hadoop-3.3.1/share/hadoop/hdfs:/data/apps/hadoop-3.3.1/share/hadoop/hdfs/lib/*:/data/apps/hadoop-3.3.1/share/hadoop/hdfs/*:/data/apps/hadoop-3.3.1/share/hadoop/mapreduce/*:/data/apps/hadoop-3.3.1/share/hadoop/yarn:/data/apps/hadoop-3.3.1/share/hadoop/yarn/lib/*:/data/apps/hadoop-3.3.1/share/hadoop/yarn/*

bin/hdfs classpath --glob

[root@hadoop-1 hadoop-3.3.1]# bin/hdfs classpath --glob
/data/apps/hadoop-3.3.1/etc/hadoop:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/commons-io-2.8.0.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/commons-daemon-1.0.13.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/hadoop-annotations-3.3.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerb-server-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jsr305-3.0.2.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerb-client-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/htrace-core4-4.1.0-incubating.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/asm-5.0.4.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jetty-xml-9.4.40.v20210413.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerby-pkix-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerb-core-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/metrics-core-3.2.4.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/json-smart-2.4.2.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jetty-io-9.4.40.v20210413.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/commons-logging-1.1.3.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jetty-servlet-9.4.40.v20210413.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/paranamer-2.3.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jackson-jaxrs-1.9.13.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerb-admin-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerb-crypto-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/log4j-1.2.17.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jsp-api-2.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/curator-client-4.2.0.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/commons-compress-1.19.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/commons-collections-3.2.2.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/zookeeper-jute-3.5.6.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jaxb-impl-2.2.3-1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jetty-server-9.4.40.v20210413.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerby-config-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jackson-annotations-2.10.5.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jackson-xc-1.9.13.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jersey-core-1.19.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jetty-util-ajax-9.4.40.v20210413.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/hadoop-shaded-protobuf_3_7-1.1.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/avro-1.7.7.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/commons-codec-1.11.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jetty-util-9.4.40.v20210413.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jettison-1.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/commons-text-1.4.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerb-identity-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/dnsjava-2.1.7.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/re2j-1.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/kerb-util-1.0.1.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/gson-2.2.4.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/jersey-json-1.19.jar:/data/apps/hadoop-3.3.1/share/hadoop/common/lib/audience-annotations-0.5.0.jar

envvars

用法：hdfs envvars

显示Hadoop的环境变量信息，是Hadoop 3.x版本的新命令

[root@hadoop-1 hadoop-3.3.1]# bin/hdfs envvars
JAVA_HOME='/data/jdk1.8.0_311'
HADOOP_HDFS_HOME='/data/apps/hadoop-3.3.1'
HDFS_DIR='share/hadoop/hdfs'
HDFS_LIB_JARS_DIR='share/hadoop/hdfs/lib'
HADOOP_CONF_DIR='/data/apps/hadoop-3.3.1/etc/hadoop'
HADOOP_TOOLS_HOME='/data/apps/hadoop-3.3.1'
HADOOP_TOOLS_DIR='share/hadoop/tools'
HADOOP_TOOLS_LIB_JARS_DIR='share/hadoop/tools/lib'

fetchdt

用法： hdfs fetchdt

此命令调用的是 org.apache.hadoop.hdfs.tools.DelegationTokenFetcher 类

COMMAND_OPTIONDescription
--webservice NN_URL与NN联系的Url（以http或https开头）
--renewer name委托令牌的名称
--cancel取消委托令牌
--renew更新委托令牌。必须使用- renew name选项获取委托令牌。
--printPrint the delegation token
token_file_path委托令牌存储位置

fsck

此命令非常重要，常常用于修复namenode元数据，查看块信息，获取块的位置属性。

此命令调用的是 org.apache.hadoop.hdfs.tools.DFSck 类

用法

hdfs fsck <path>
          [-list-corruptfileblocks |
          [-move | -delete | -openforwrite]
          [-files [-blocks [-locations | -racks | -replicaDetails | -upgradedomains]]]
          [-includeSnapshots] [-showprogress]
          [-storagepolicies] [-maintenance]
          [-blockId <blk_Id>]
COMMAND_OPTIONDescription
path文件块检查开始路径
-delete删除检查完毕的块
-files打印已经检查的文件信息
-files -blocks打印块报告
-files -blocks -locations打印数据块存储位置
-files -blocks -racks打印数据节点位置的网络拓扑
-files -blocks -replicaDetails打印每个数据块复本的详情
-files -blocks -upgradedomains打印正在升级中的块信息
-includeSnapshots如果给定路径指示snapshottable目录或其下有snapshottable目录，则包括快照数据
-list-corruptfileblocks打印出丢失的块及其所属文件的列表
-move将损坏的文件移到 /lost+found目录
-openforwrite打印正要写入的文件
-showprogress打印输出进度。默认关闭
-storagepolicies打印块的存储策略摘要
-maintenance打印维护状态节点详细信息
-blockId打印块的基本信息

查看 路径 位置信息

[root@hadoop-1 hadoop-3.3.1]# bin/hdfs fsck  / -files -blocks -locations
Connecting to namenode via http://192.168.1.1:9870/fsck?ugi=root&files=1&path=%2F
FSCK started by root (auth:SIMPLE) from /192.168.1.1 for path / at Thu Mar 09 21:19:43 CST 2023

/ <dir>
/history <dir>
/history/done_intermediate <dir>
/history/done_intermediate/root <dir>
/history/done_intermediate/root/job_1676356354068_0001-1676361683509-root-QuasiMonteCarlo-1676361715080-5-1-SUCCEEDED-default-1676361695608.jhist 37479 bytes, replicated: replication=2, 1 block(s):  OK
0. BP-1397494263-192.168.1.1-1676343701890:blk_1073741856_1032 len=37479 Live_repl=2  [DatanodeInfoWithStorage[192.168.1.2:9866,DS-2103ba93-bc7c-45a4-b55d-841907750a90,DISK], DatanodeInfoWithStorage[192.168.1.3:9866,DS-ab85c804-d5b8-45be-b40f-0374ac15f323,DISK]]

/history/done_intermediate/root/job_1676356354068_0001.summary 445 bytes, replicated: replication=2, 1 block(s):  OK
1. BP-1397494263-192.168.1.1-1676343701890:blk_1073741855_1031 len=445 Live_repl=2  [DatanodeInfoWithStorage[192.168.1.3:9866,DS-ab85c804-d5b8-45be-b40f-0374ac15f323,DISK], DatanodeInfoWithStorage[192.168.1.2:9866,DS-2103ba93-bc7c-45a4-b55d-841907750a90,DISK]]

/history/done_intermediate/root/job_1676356354068_0001_conf.xml 278110 bytes, replicated: replication=2, 1 block(s):  OK
2. BP-1397494263-192.168.1.1-1676343701890:blk_1073741857_1033 len=278110 Live_repl=2  [DatanodeInfoWithStorage[192.168.1.3:9866,DS-ab85c804-d5b8-45be-b40f-0374ac15f323,DISK], DatanodeInfoWithStorage[192.168.1.2:9866,DS-2103ba93-bc7c-45a4-b55d-841907750a90,DISK]]

......

Status: HEALTHY
 Number of data-nodes:	2
 Number of racks:		1
 Total dirs:			132
 Total symlinks:		0

Replicated Blocks:
 Total size:	732857783 B
 Total files:	197
 Total blocks (validated):	198 (avg. block size 3701301 B)
 Minimally replicated blocks:	198 (100.0 %)
 Over-replicated blocks:	0 (0.0 %)
 Under-replicated blocks:	0 (0.0 %)
 Mis-replicated blocks:		0 (0.0 %)
 Default replication factor:	2
 Average block replication:	2.0
 Missing blocks:		0
 Corrupt blocks:		0
 Missing replicas:		0 (0.0 %)
 Blocks queued for replication:	0

Erasure Coded Block Groups:
 Total size:	0 B
 Total files:	0
 Total block groups (validated):	0
 Minimally erasure-coded block groups:	0
 Over-erasure-coded block groups:	0
 Under-erasure-coded block groups:	0
 Unsatisfactory placement block groups:	0
 Average block group size:	0.0
 Missing block groups:		0
 Corrupt block groups:		0
 Missing internal blocks:	0
 Blocks queued for replication:	0
FSCK ended at Thu Mar 09 21:19:43 CST 2023 in 38 milliseconds


The filesystem under path '/' is HEALTHY

查看 错误 文件

[root@hadoop-1 hadoop-3.3.1]# bin/hdfs fsck / -list-corruptfileblocks
Connecting to namenode via http://192.168.1.1:9870/fsck?ugi=root&listcorruptfileblocks=1&path=%2F
The filesystem under path '/' has 0 CORRUPT files

getconf

获取集群的信息

此命令调用的是 org.apache.hadoop.hdfs.tools.GetConf 类

用法

hdfs getconf -namenodes	# 获取namenodes节点列表
hdfs getconf -secondaryNameNodes # 获取secondaryNameNodes节点列表
hdfs getconf -backupNodes # 获取backupNodes节点列表
hdfs getconf -journalNodes # 获取journalNodes节点列表
hdfs getconf -includeFile # 获取定义数据节点白名单(允许接入集群的数据节点)的文件路径
hdfs getconf -excludeFile # 获取定义数据节点黑名单(停用的数据节点)的文件路径
hdfs getconf -nnRpcAddresses # 获取namenode rpc地址
hdfs getconf -confKey [key] # 获取集群指定key的配置信息

使用案例

[root@hadoop-1 hadoop-3.3.1]# bin/hdfs getconf -namenodes
hadoop-1 hadoop-3
[root@hadoop-1 hadoop-3.3.1]# bin/hdfs getconf -journalnodes
hadoop-1 hadoop-2 hadoop-3
[root@hadoop-1 hadoop-3.3.1]# bin/hdfs getconf -confKey 'fs.defaultFS'
hdfs://cdp-cluster

groups

用法： hdfs groups [username ...]

此命令调用的是 org.apache.hadoop.hdfs.tools.GetGroups 类

返回给定一个或多个用户名的组信息

httpfs

用法：hdfs httpfs

运行 HttpFS 服务器，即HDFS HTTP网关。

lsSnapshottableDir

用法： hdfs lsSnapshottableDir [-help]

此命令调用的是 org.apache.hadoop.hdfs.tools.snapshot.LsSnapshottableDir 类

获取快照表目录列表。当它作为超级用户运行时，它返回所有快照表目录。否则，它将返回当前用户拥有的目录。

jmxget

用法：hdfs jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]

此命令调用的是 org.apache.hadoop.hdfs.tools.JMXGet 类

COMMAND_OPTIONDescription
-help打印使用说明
-localVM ConnectorURL连接到同一台计算机上的虚拟机
-port mbean server port 指定mbean服务器端口，如果缺少，它将尝试连接到同一个虚拟机中的mbean服务器
-server指定mbean服务器(默认情况下为本地主机)
-service NameNode指定jmx服务。默认情况下为NameNode。

从一个服务中转储JMX信息

oev(offline edits viewer)

用法：hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE

此命令调用的是 org.apache.hadoop.hdfs.tools.offlineEditsViewer.OfflineEditsViewer 类

必要的参数：

COMMAND_OPTIONDescription
-i,--inputFile arg要处理editsLog文件，xml(不区分大小写)扩展名表示xml格式，任何其他文件名表示二进制格式
-o,--outputFile arg输出文件的名称。如果指定的文件存在，它将被覆盖，文件的格式由-p选项决定

可选的参数：

COMMAND_OPTIONDescription
-f,--fix-txids重新对输入的事务ID编号，用于消除间隙或无效的事务ID
-h,--helpDisplay usage information and exit
-r,--recover读取二进制编辑日志时，请使用恢复模式。这将会跳过编辑日志中损坏的部分
-p,--processor arg选择要应用于图像文件的处理器类型， 当前支持的处理器类型: binary (Hadoop使用的本机二进制格式), xml (默认，XML格式), stats (打印编辑日志的统计信息)
-v,--verbose更详细的输出，打印输入和输出文件名，对于写入文件的处理器，也输出到屏幕。对于大型fsimage文件，这将显著增加处理时间(默认值为false)

使用案例

# hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径
hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /data/apps/hadoop-3.3.1/edits.xml

oiv(Offline Image Viewe)

用法：hdfs oiv [OPTIONS] -i INPUT_FILE

此命令调用的是 org.apache.hadoop.hdfs.tools.offlineImageViewer.OfflineImageViewerPB 类

必要的参数：

COMMAND_OPTIONDescription
-i–inputFile input file指定要处理的fsimage文件（或XML文件，如果已经使用ReverseXML处理器）

可选的参数：

COMMAND_OPTIONDescription
-o,--outputFile output file
-p,--processor processor
-addr address
-maxSize size
-step size
-format
-delimiter arg
-t,--temp temporary dir
-h,--help

使用案例

# hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径
hdfs oiv -p XML -i fsimage_0000000000000000025 -o /data/apps/hadoop-3.3.1/fsimage.xml

oiv_legacy

snapshotDiff

用法：hdfs snapshotDiff

此命令调用的是 org.apache.hadoop.hdfs.tools.snapshot.SnapshotDiff 类

比较HDFS快照之间的差异。

version

用法：hdfs version

此命令调用的是 org.apache.hadoop.util.VersionInfo 类

打印hdfs版本号。

[root@hadoop-1 hadoop-3.3.1]# bin/hdfs version
Hadoop 3.3.1
Source code repository https://github.com/apache/hadoop.git -r a3b9c37a397ad4188041dd80621bdeefc46885f2
Compiled by ubuntu on 2021-06-15T10:51Z
Compiled with protoc 3.7.1
From source with checksum 88a4ddb2299aca054416d6b7f81ca55
This command was run using /data/apps/hadoop-3.3.1/share/hadoop/common/hadoop-common-3.3.1.jar
笑起来贼好看
关注
专栏目录
Hadoop HDFS 实现原理图文详解
AI天才研究院
11-28 1万+
一、HDFS体系结构1.1 HDFS 简介Hadoop分布式文件系统(HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed Fi...
hdfs client分析：hdfs dfs -ls
派大星的技术人生
03-27 2478
shell脚本分析 实例命令：hdfs dfs -ls 对应脚本文件：bin/hdfs 对应具体脚本内容： COMMAND=$1 shift elif [ "$COMMAND" = "dfs" ] ; then CLASS=org.apache.hadoop.fs.FsShell 最终执行的命令： exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLAS...
hadoop入门【2】HDFS的命令行操作
万和IT教育
06-04 340
在安装好Hadoop之后，我们来熟悉在命令行界面当中操作分布式文件存储组件HDFS。 HDFS是Hadoop大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供数据存储，如Hive，Mapreduce，Spark，HBase等。 1 系统、软件以及前提约束 CentOS-7 64 为减少linux权限对初学者造成影响，所有命令均在linux的root权限下进行操作。 已安装hado...
HDFS的客户端操作及常用命令
laozaoxiaowanzi的博客
01-13 774
HDFS的客户端形式 1.网页形式——网页客户端可以查看HDFS文件系统上的文件 2.命令行形式——hdfs客户端就是命令，可以进入Hadoop安装包的bin目录下，使用脚本Hadoop/hdfs来启动一个java客户端，进行hdfs的相关操作 3.客户端在哪里运行没有约束，只要运行客户端的机器能够和hdfs集群联网——可以写一个Java程序作为客户端访问hdfs、可以在hdfs集群中任一台机器或非集群中的一台机器上启动一个客户端（只需更改core-site.xml文件，指定hdfs的namenode
HDFS的命令行客户端常用命令
西牛贺州的博客
12-19 367
1.查看hdfs中的目录信息 hadoop fs -ls /hdfs路径   2.上传文件到hdfs中 hadoop fs -put  /本地文件   /aaa 本地文件  /hdfs路径   ##  copyFromLocal等价于 put hadoop fs -moveFromLocal /本地文件  /hdfs路径  ## 跟copyFromLocal的区别是：从本地移动到hdf...
HDFS客户端操作（命令大全）（three day）
ZJX103RLF的博客
03-29 317
客户端的理解 hdfs的客户端有多种形式： 网页形式 命令行形式 客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网 文件的切块大小和存储的副本数量，都是由客户端决定！ 所谓的由客户端决定，是通过配置参数来定的 hdfs的客户端会读以下两个参数，来决定切块大小、副本数量： 切块大小的参数： dfs.blocksize 副本数量的参数： dfs.replic...
hdfs command
weixin_30920091的博客
06-09 97
1：appendToFile追加文件至目标文件末尾。 　　$>hadoop fs -appendToFile text111.txt /spaceQuota/text.txt 2：getmerge合并文件 　　$>hadoop fs -getmerge -nl /spaceQuota textmerge.txt 3.setrep: 设置文件或目录的复本因子 　　$...
2024年【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记(2)，BTAJ面试有关散列（哈希）表的面试题详解
2401_84181403的博客
05-05 884
练习题：客户端上传文件的时候哪项是正确的？（多选）A、数据经过 NameNode 传递给 DataNodeB、客户端端将文件切分为多个Block，依次上传C、客户端只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作D、客户端发起文件上传请求，通过RPC与NameNode建立通讯。答案：BD。
大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode
黑泽君
02-05 734
大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode
Hadoop大数据集群搭建​ 详细教程
dx1313113的博客
08-21 1511
etc /vsftpd/ftpusers文件专门用于定义不允许访问FTP服务器的用户列表（注意:如果 userlist_enable=YES,userlist_deny=NO,此时如果在vsftpd.user_list和ftpusers中都有某个 用户时，那么这个用户是不能够访问FTP的，即ftpusers的优先级要高）。当设置了该配置项后，用户登陆服务器后，系统就会到/etc/vsftpd/userconf目录下，读取与当前用户名相同的文件，并根据文件中的配置命令，对当前用户进行更进一步的配置。
ClientCommands:Minecraft Mod，增加了对客户端命令的支持
05-08
棉花客户命令 在由客户端命令API代替。 适用于1.14至1.16的Minecraft库，增加了对客户端命令的支持。 这个mod是开源的，并得到了许可。 因此，无需事先许可，它就可以包含在任何平台上的任何modpack中。 我们很高兴听到有人使用我们的mod，但您无需要求使用它们。 有关更多详细信息，请参见。 用法 在build.gradle或build.gradle.kts添加一个依赖build.gradle.kts ： repositories { maven { name = ' CottonMC ' url = ' https://server.bbkr.space/artifactory/libs-release ' } } dependencies { modImplementation " io.github.c
HDFS客户端操作
qq_52310720的博客
12-05 316
1.客户端环境变量的准备 1.根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径. 2.需要配置HADOOP_HOME环境变量 3.再ECLIPSE 下创建一个Maven工程HdfsClientDemo 4.导入依赖坐标和日志添加 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</ar..
HDFS操作
XF的专栏
12-09 8872
HDFS基本命令: hadoop fs -cmd cmd: 具体的操作，基本上与UNIX的命令行相同 args:参数 HDFS资源URI格式： scheme://authority/path scheme：协议名，file或hdfs authority：namenode主机名 path：路径 示例：hdfs://localhost:9000/user/chunk/test.tx
HDFS Command List
Star-Technology
04-26 716
参数 作用 示例 appendToFile 将一个或者多个本地 文件追加到目的文件 hadoop fs -appendToFile localfile /user/hadoop/hadoopfile cat 输出文件 hadoop fs -cat file:///file3 /user/hadoop/file4 chgrp 改变文件的分组 hadoo
推荐一款创新Minecraft游戏体验的开源项目——clientcommands
最新发布
gitblog_00031的博客
05-16 457
推荐一款创新Minecraft游戏体验的开源项目——clientcommands 去发现同类优质开源项目:https://gitcode.com/ 在广大的Minecraft玩家社区中，我们总是渴望找到那些能为游戏带来新乐趣和便利性的工具。今天，我想向大家介绍一个名为clientcommands的开源项目，它通过添加一系列实用的客户端命令，极大地丰富了你在Minecraft中的互动体验。 项目介绍...
clearcase
安子自语
02-04 1578
http://blog.chinaunix.net/uid-9398085-id-362310.html 在意义明确的情况下，参数可以使用简写。如ct diff -g -pred file  //为-graphical和-predecessor的缩写 ct help cleartool是clearcase中最常用的工具，可以交互使用，也可以单个命令行执行， 如：  $cleart
HDFS命令操作
shenhao-stu的博客
04-04 2791
HDFS命令操作 实验内容 在上述前提条件下，这个实验学习HDFS其它未遇到过的命令。 实验步骤 1.点击桌面的"命令行终端"，打开新的命令行窗口 2.启动HDFS 启动HDFS，在命令行窗口输入下面的命令： /apps/hadoop/sbin/start-dfs.sh 运行后显示如下，根据日志显示，分别启动了NameNode、DataNode、Secondary NameNode： dolphin@tools:~$ /apps/hadoop/sbin/start-dfs.sh Starting name
hadoop-client命令使用
@_囚徒-2018_的家园
10-25 5391
1.hadoop命令的使用方法         hadoop的命令的使用，都是用{Hadoop_HOME}/bin/hadoop脚本来调用的。 2.常用的hadoop命令有： ./bin/hadoop fs    用来操作分布式文件系统的命令 ./bin/hadoop distcp    用来在同一个hadoop集群或不同hadoop集群间进行数据的拷贝操作。 ./bin/had
2.7 Client Commands and SQL Statements
CodeMyDream的专栏
05-25 683
status命令可以查看当前状态使用Server-side Helpmysql>Help contents 输入help命令，可以查看相关命令的用法 Using the –safe-updates 选项 修改很多行或者返回很多的行，将帮助阻止这类问题 + UPDATE 和 DELETE仅仅能够使用如果包含Where支局或者 + limit子句 + 输出的结果不会超过
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笑起来贼好看

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值