hdfs shell 操作基本语法

最新推荐文章于 2022-10-24 21:48:12 发布
最新推荐文章于 2022-10-24 21:48:12 发布
阅读量203 收藏
点赞数
分类专栏： hdfs 文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/khx0910/article/details/106013128
版权

hdfs用户切换并查看文件

xshell登陆到linux服务器,root 用户切换
以hdfs用户登陆查看创建的hive数据库是否以文件夹的形式存在hive文件目录下

su - hdfs
hdfs dfs -ls /apps/hive/warehouse
hdfs dfs -ls /apps/hive/warehouse/test_2019.db
hdfs dfs -ls /apps/hive/warehouse/test_2019.db/userinfo2

删除文件 用rm 文件名

hdfs常用shell命令

hdfs dfs –ls : 查看
hdfs dfs -ls –R : 递归查看
hdfs dfs –mkdir : 创建目录
hdfs dfs -touchz : 创建文件
hdfs dfs -cp : 复制文件
hdfs dfs -mv : 移动文件
hdfs dfs -put : 将本地文件上传到hdfs文件系统当中
hdfs dfs -copyFromLocal : 将本地文件上传到hdfs文件系统中去
hdfs dfs -get : 从hdfs文件系统中下载到本地
hdfs dfs -copyToLocal : 从hdfs文件系统中下载到本地
hdfs dfs -cat : 查看文件内容
hdfs dfs -du : 查看文件大小

linux 下进入hive的命令

beeline -u jdbc:hive2://bigdata-4.leap.com:10000 -n hive

khx0910
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2021年 全网最细大数据学习笔记（四）：Hadoop 之 HDFS的基本使用
Amo Xiang的博客
04-10 5882
文章目录一、学前必备知识二、Hadoop HDFS 命令1、HDFS 常用命令总览2、创建与查看 HDFS 目录3、本地计算机和 HDFS 间的文件复制4、复制与删除 HDFS 文件5、查看 HDFS 文件内容6、对比 hdfs dfs三、Java 操作 HDFS 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初识 Hadoop 2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装 2021年 全网最细大数据学习笔记（三）：Hadoop 集群的搭建与配置 二、Hadoop
2、HDFS操作 - shell客户端
05-29
2、HDFS操作 - shell客户端 网址：https://blog.csdn.net/chenwewi520feng/article/details/130325405 本文介绍hdfs的shell操作，本文的前提是hdfs的功能正常运行。 本文分为2个部分介绍，即语法格式与具体示例。
【hadoop——HDFS操作常用的Shell命令】
所爱的博客
05-01 1万+
1.Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，我们已经安装好了Hadoop 2.7.1，其中已经包含了HDFS组件，不需要另外安装 最基本的shell命令： HDFS既然是Hadoop的组件，那么首先需要启动Hadoop：启动虚拟机，打开终端，输入以下命令： cd /usr/local/hadoop #进入 hadoop安装目录 ./sbin/start-dfs.sh ...
HDFS dfs指令
胖胖的博客
09-15 400
HDFS dfs指令
Hadoop Shell命令
Rnan_prince的博客
11-02 807
FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://nameno.
HDFS常用Shell命令
01-07
使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动hadoop集群 HDFS相关组件: sbin/start-dfs.sh YARN相关组件: sbin/start-yarn.sh 2.显示...
【HDFS篇02】HDFS命令行操作1
08-04
完成永远比完美重要HDFS的Shell操作基本语法常用命令大全启动Hadoop集群-help：输出这个命令参数-ls: 显示目录信息-moveFromLocal
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小
05-21
4.2. HDFS的shell操作 6 4.2.1. 基本语法 7 4.2.2. 参数大全 8 4.2.3. 常用命令实操 9 4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3. IDEA关联maven插件 19 ...
centos (linux) shell常用命令实例手册
03-05
centos (linux) shell常用命令实例手册大全，包括：常用shell命令、语法、环境配置、实例、mysql、jdk、hadoop、hdfs、keepalive、文件操作、软件安装、系统、权限、服务、网络、磁盘管理 等各个方面的shell实例
HDFS分布式文件系统操作
qq_44778120的博客
01-03 3252
大数据与数据挖掘技术实验二：HDFS分布式文件系统操作 启动Hadoop $ cd /usr/local/hadoop $ ./sbin/start-dfs.h #启动hadoop 实验内容 一、利用Shell命令和HDFS进行交互 Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。 教材《大数据技术原理与应用》的命令是以”./bin/hadoop dfs”开头的Shell命令方式，实际上有三种shell命令方式。
HDFS的xshell基本操作
tuweibazong的博客
10-24 2155
Hadoop集群的启动，以及Hadoop系统的一些基本操作
Shell访问Hadoop中HDFS基本操作
weixin_45383965的博客
10-12 820
操作步骤： 一：hadoop fs 和hdfs dfs 二：查看hdfs当中有哪些文件 三：访问hdfs当中的文件内容 四：将hdfs当中的内容下载到本地 五：在hdfs当中创建文件夹 六：将一个文件移动到另一个地方 七：删除一个文件 （如果是目录的话，需要加上-r） 八：授权 九：修改属主与属组 十：文件的追加 备注：常见问题 一：在上传下载过程是有些服务没有启动，例如DN，这样get和put...
Hadoop HDFS 读写流程
lucklilili
08-16 283
客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 NameNode 返回是否可以上传。 客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用dn2，然后 dn2 调用 ...
linux常用命令
qq_31541339的博客
10-05 211
这里写自定义目录标题linux 常用命令关机目录结构基础指令进阶指令 linux 常用命令 关机 shutdown -h now（可以定时关机）; halt(关闭内存)； init 0（6里面能用，中间有空格） 目录结构 Bin：binary 二进制文件，文件都是可以运行的 Dev：该目录主要是存放的外接设备，例如盘、其他的光盘等。在其中的外接设备是不能直接被使用的，需要挂载（类似于windows下的分配盘符）。 ETC：存储一些配置文件 Home：除root用户外其他用户的目录，类似于windows下面的
HDFS命令：hdfs dfs
Yummy的博客
07-24 3769
操作HDFS命令： hdfs dfs 0.帮助命令 hdfs dfs -help hdfs dfs -help put 1.建立一个账号目录 -mkdir -p hdfs dfs -mkdir -p /user/hadoop03 2.在当前账号下新建一个文件夹 hdfs dfs -mkdir input 3.上传本地文件到HDFS -put hdfs dfs -put 本地文件目录 HDFS的文件目录 hdfs dfs -put ~/*.txt input 4.查看HDFS文件中的文件和目...
HDFS常用命令（总结）
徐小慧_Blog的博客
06-28 1万+
1.查看hdfs下根目录下的文件 hdfs dfs -ls / 2.查看hdfs某个目录下的所有文件结构： 如：查看根目录所有文件结构 hdfs dfs -ls -R / hdfs dfs -lsr / 如：查看根文件tmp下的所有文件列表 hdfs dfs -ls -R /tmp/ hdfs dfs -lsr /tmp/ 3.创建文件夹 如：在根文件的test目录下，创建test2 hdfs dfs -mkdir /test/test2 或者： hdfs dfs -mkdir hdfs://49.
hadoop hdfs dfs基本操作
热门推荐
archer的技术故事
04-09 3万+
hadoop hdfs dfs基本操作 本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html 根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令h
hadoop fs,hadoop dfs以及hdfs dfs区别
m0_67391377的博客
08-16 1066
和上面的命令作用相同，相比于上面的命令更为推荐，并且当使用hadoop dfs时内部会被转为hdfs dfs命令。意思是说该命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广。专门针对hdfs分布式文件系统。...
HDFS命令行使用
搁浅记忆的博客
03-02 1015
一，hdfs常见命令 ： ls 格式：hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 hdfs dfs -ls / lsr 格式 : hdfs dfs -lsr URI 作用 : 在整个目录下递归执行ls, 与UNIX中的ls-R类似 hdfs dfs -lsr / mkdir 格式 ： hdfs dfs [-p] -mkdir <paths> 作用 : 以<paths&gt...
spark shell 读取hdfs方式 注册表
最新发布
06-06
可以使用 Spark 的 DataFrame API 读取 HDFS 数据并注册成表，具体步骤如下： 1. 使用 SparkSession 对象创建 DataFrame，示例代码如下： ```scala val spark = SparkSession.builder() .appName("ReadHdfsAndRegisterTable") .getOrCreate() val df = spark.read.format("csv") .option("header", "true") .option("inferSchema", "true") .load("hdfs://localhost:9000/path/to/csv") ``` 上述代码读取了 HDFS 中的 CSV 文件，并将其转换成 DataFrame。 2. 使用 DataFrame 的 `createOrReplaceTempView` 方法将其注册成表，示例代码如下： ```scala df.createOrReplaceTempView("my_table") ``` 上述代码将 DataFrame `df` 注册成名为 `my_table` 的表。 3. 可以使用 Spark SQL 的语法查询该表，示例代码如下： ```scala val result = spark.sql("SELECT COUNT(*) FROM my_table") result.show() ``` 上述代码查询 `my_table` 表中的记录数量并输出结果。 需要注意的是，上述代码中的 HDFS 路径应该是正确的，并且 SparkSession 对象需要正确配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值