hdfs删除和上传文件命令参考

于 2021-10-19 16:24:16 发布
阅读量310 收藏
点赞数
分类专栏： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43214644/article/details/120848959
版权

Hadoop HDFS 文件删除 文件上传 命令行工具
关键词由CSDN通过智能技术生成

删除hadfs文件
export HADOOP_USER_NAME=hdfs
hadoop fs -rm -r -skipTrash /datafs/5gmr/parameter/neighborhood/*

export HADOOP_USER_NAME=hdfs

hadoop dfs -rm -r /datafs/5gmr/parameter/city_latitude_longitude/*

上传文件

hadoop dfs -put 目录/* /datafs/5gmr/parameter/neighborhood/

格格巫 MMQ!!
关注
专栏目录
博客
Linux技巧：修复硬盘坏道
10-07 3206
Last cylinder or +size or +sizeM or +sizeK (51-125, default 125): +200M 注：这个是定义分区大小的，+200M 就是大小为200M；警告：删除分区时要小心，请看好分区的序号，如果您删除了扩展分区，扩展分区之下的逻辑分区都会删除；Last cylinder or +size or +sizeM or +sizeK (1-125, default 125): +200M 注：指定分区大小，用+200M来指定大小为200M。
博客
SDN介绍
09-14 1186
想当年，集群技术多火，STP和VRRP技术多经典，还不是慢慢被淘汰，成为了历史，只要不适应业务发展的需要，再好的技术都可能被淘汰。三是小型的数据中心网络，一旦部署后完成后，扩容和变更机会是比较少的，人工操作并不复杂，引入SDN属于大材小用，给数据中心带来的真正实惠不对，即便是那些大型的数据中心网络，扩容几台网络设备，一个熟练的网络工程师也可以很快完成，并不比SDN的方式慢多少，SDN虽是自动化部署，但出了问题排查起来也难度不小，Underlay和Overlay网络层面都要排查，网络问题复杂度增加了。
博客
Sftp登录时报received message too long 1416128883如何解决？Ensure the remote shell produces no output for non-
06-13 3197
但是，实际上文件系统也可能仅仅是一种访问数据的界面而已，实际的数据是通过网络协议（如NFS、SMB、9P等）提供的或者内存上，甚至可能根本没有对应的文件（如proc文件系统）。用户使用文件系统来保存数据，只需要记住这个文件的所属目录和文件名。在写入新数据之前，用户不必关心硬盘上的那个块地址没有被使用，硬盘上的存储空间管理（分配和释放）功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中。在计算机领域，SSH文件传输协议，即SFTP，它是一数据流连接，提供文件访问、传输和管理功能的网络传输协议。
博客
liunx卸载磁盘后重新挂载
05-15 677
root@localhost]# parted /dev/sdb 使用parted来对GPT磁盘操作，进入交互式模式。[root@localhost]# mkfs.xfs -f /dev/sdb1 格式化分区xfs格式。[root@localhost]# mkdir /data1 在根目录下新建挂载硬盘所需文件夹。[root@localhost]# vi /etc/fstab 在fstab表末添加下列参数。[root@localhost]# df -Th 查看分区挂载情况。
博客
5G NR 网络切片是什么意思
03-28 1900
b） CSC-A可以使用从CSP-A获得的网络切片来支持自己的通信服务，或者可以向获得的NSaaS添加额外的网络功能，并将得到的组合作为一个新的网络切片提供给CSP-b。网络切片可以理解为支持特定使用场景或商业模式的通信服务要求的一组逻辑网络功能的集合，是基于物理基础设施对服务的实现，这些逻辑网络功能可以看作是由EPC下的网络功能（NetworkFuncTIon）分解而来的一系列子功能（Networksub-FuncTIon）。与向终端用户提供的通信服务不同，在NSaaS中，所提供的服务是实际的网络切片。
博客
xml文件的注释展示
03-23 1362
即能够在HTML文件之外将数据存储在XML文档中，这样可以使开发者集中精力使用HTML做好数据的显示和布局，并确保数据改动时不会导致HTML文件也需要改动，从而方便维护页面。XML也能够将数据以“数据岛”的形式存储在HTML页面中，开发者依然可以把精力集中到使用HTML格式化和显示数据上。基于XML可以在不兼容的系统之间交换数据，计算机系统和数据库系统所存储的数据有多种形式，对于开发者来说，最耗时间的工作就是在遍布网络的系统之间交换数据。xml文件的注释格式： ，注释不能嵌套定义。
博客
欧拉操作系统和linux区别
03-17 3764
linux 有自己的API。windows也有自己的API例如：linux下打开文件的函数是open()，而windows下却是fopen(),这并不能代表C语言有什么区别，只是说平台不同定义的API函数不同。而Linux发行套件系统才是咱们常说的Linux操作系统，也即是由Linux内核与各种常用软件的集合产品，全球大约有数百款的Linux系统版本，比较有名的有RedHat、CentOS、Ubuntu等。一般来说，我们平时说Linux指的是Linux系统内核，而centos是Linux发行套件系统。
博客
EasyConnect虚拟IP地址未分配
03-08 3543
工作中遇到EasyConnect虚拟IP地址未分配，导致无法正常连接服务器进行调测工作。
博客
MySQL修改密码的3种方式以及启动方式
02-10 2114
注意：下图修改密码的命令中 -uroot 和 -proot 是整体，不要写成 -u root -p root，-u 和 root 间可以加空格，但是会有警告出现，所以就不要加空格了。使用 mysqladmin 命令修改 MySQL 的 root 用户密码格式为 mysqladmin -u用户名 -p旧密码 password 新密码。在使用数据库时，我们也许会遇到 MySQL 需要修改密码的情况，比如密码太简单需要修改等。，其中 username 为要修改密码的用户名，newpwd 为要修改的新密码。
博客
Lftp for linux 编译安装
02-09 1802
默认命令安装路径/软件路径/lftp-4.9.2/src/lftp （可在 ./configure --prefix=“xxxxxxx” 自定义）make[2]: 离开目录“/root/lftp-4.9.2/contrib”make[2]: 进入目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/src”make[2]: 离开目录“/root/lftp-4.9.2/po”
博客
cdh报 Unable to acquire JDBC Connection
01-10 1171
重新启动mysql解决！
博客
centos7 升级httpd
12-29 1100
tar -zxvf 软件包名.tar.gz -C /home/hao” 解压到指定的目录下 （注意：-C为大写）“./configure --prefix=/opt”，表示安装到/opt目录。2）进入解压后的文件目录下 执行“./configure”命令为编译做好准备。（5）将安装目录的bin目录下的httpd拷贝到/usr/sbin/目录下。“tar –xvzf 软件包名”，就可以完成解压与解包工作。1）解压tar.gz包。
博客
-------如何消除打印机的字迹（字迹打印机消除即）--------
12-15 6577
消除打印机的字迹共有以下四种方法：1、可使用刀片，轻轻刮掉即可消除打印机字迹。2、可使用消字灵，即可消除打印机字迹。3、可使用橡皮擦，即可擦掉消除打印机字迹。4、可使用专门的药水，即可消除打印机字迹。1、可使用刀片，轻轻刮掉即可消除打印机字迹。3、可使用橡皮擦，即可擦掉消除打印机字迹。4、可使用专门的药水，即可消除打印机字迹。2、可使用消字灵，即可消除打印机字迹。如何消除打印机的字迹。
博客
大屏可视化关键技术
12-14 1359
大屏可视化关键技术就为大家介绍到此了，因此如果说大屏可视化技术中还有主次之分的话，那么大数据共享、互联网以及AI智能这些技术的成熟，是可视化大屏技术成熟的一个至关重要的联系所在，只是现在而言，这种技术都在发展中。大屏可视化的技术中涉及的范围会比较广，拆开来说诸如各种LED视频技术、互联网技术、智能技术、视觉设计技术等等这些技术，都是跟大屏可视化有着千丝万缕断不开的关系，但真正影响到大屏可视化关键技术却在于下面的3点上。为什么5G成为香饽饽，因为5G所带来不仅仅是网速的提高，更多是互联网新时代的降生。
博客
linux系统中怎么修改服务器名称（集群中机器的别名）
12-08 3283
修改主机名，需要更改两个文件：/etc/hostname/etc/hosts在hostname文件中，将原来主机名改为新的即可。在hosts文件中，可将127.0.0.1解析的原主机名部分改为新的主机名—————————————————1.修改linux的服务器名NETWORKING=yesHOSTNAME=yourname //在这修改hostname2.修改/etc/hosts里面的名字＃ vi /etc/hosts127.0.0.1 localhost.localdomain local
博客
liunx如何重启mysql
12-08 8129
Linux如何重启MySQLLinux中重启MySQL可以使用service mysql restart命令和脚本启动方式/etc/inint.d/mysql restart。推荐：MySQL教程其他命令如下：一、 启动1、使用 service 启动：service mysql start2、使用 mysqld 脚本启动：/etc/inint.d/mysql start3、使用 safe_mysqld 启动：safe_mysql&二、停止1、使用 service 启动：service mysql stop2
博客
spark性能优化调优指导性文件
12-02 595
由于集群的 Spark History Server 还没安装调试好，没法通过 spark web UI 查看历史任务的可视化执行细节，所以我写了个小脚本分析了下前后具体的计算耗时信息，可以一目了然的看到是哪个 stage 的问题，有针对性的优化。从上面这个 case 可以看到，会用 spark、会调 API 和能用好 spark，用的恰到好处是两码事，这要求咱们不仅了解其原理，还要了解业务场景，将合适的技术方案、工具和合适的业务场景结合——这世上本就不存在什么银弹。除非你是火花壳，一般1-2g就够了。
博客
通过yarn提交作业到spark,运行一段时间后报错。
12-01 912
加粗样式
博客
CDH6.3.2处理Zookeeper因未授权访问造成的漏洞
11-24 2340
不知道你有没有注意，zk服务端启动后，默认会启动这几个具有world和cdrwa权限的znode，“/” “/zookeeper” “/zookeeper/config"和”/zookeeper/quota"（根据zookeeper的版本不同可能存在不同，并且这几个节点虽然具有world和cdrwa权限，但是是无法删除的，不知道为什么，好在我们可以给它设置ACL列表。1、digest设置Acl的时候，可以不用先添加用户，而auth设置Acl的时候，是需要提前设置用户的，否则报错。
博客
zookeeper未授权访问修复建议
11-21 2182
setAcl /path auth:用户名:密码明文:权限。addauth digest 用户名:密码明文。为ZooKeeper配置相应的访问权限。1）增加一个认证用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值