hadoop之旅（四）常用操作（拷贝、权限）

最新推荐文章于 2023-04-04 17:25:04 发布
最新推荐文章于 2023-04-04 17:25:04 发布
阅读量389 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32674727/article/details/77418250
版权

hadoop dfsadmin -safemode leave #解除hadoop的安全模式

hadoop fs -copyFromLocal URI#拷贝本地文件到hdfs
hadoop fs -cat file:///file3 /user/hadoop/file4#将路径指定文件的内容输出到stdout
hadoop fs -chgrp [-R] GROUP URI#改变文件的所属组
hadoop fs -chmod [-R] 755 URI#改变用户访问权限
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者
hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地
hadoop fs -cp URI [URI …] #拷贝hdfs文件到其它目录
hadoop fs -du URI [URI …]#显示目录中所有文件的大小
hadoop fs -getmerge [addnl]#合并文件到本地目录

PeterGss
关注
专栏目录
大数据技术之 Hadoop（入门详解）
qq_45115959的博客
08-11 1278
各个模块分开启动/停止（配置 ssh 是前提）常用整体启动/停止 HDFS整体启动/停止 YARN各个服务组件逐一启动/停止分别启动/停止 HDFS 组件启动/停止 YARN。
大数据生态系统 修仙之道 Hadoop Blog
JEEP/711 Blog
02-15 851
大数据生态系统 修仙之道 Hadoop Blog @(2019-01-22)[Docs Language:简体中文 & English|Programing Language:Hadoop|Website:www.geekparkhub.com||GeekDeveloper:JEEP-711|Github:github.com/geekparkhub|Gitee:gitee.com/gee...
hadoop集群远程拷贝数据
A coder of life
03-08 2796
命令如下：  hadoop distcp -Dmapred.job.queue.name=root.default -overwrite ftp://root:root@146.240.10.237/NFS/SFILSVR/SAPPNFS_20151231/CUNFS/2015-12-30/88023930 hdfs://nameservice1/user/pmtlas/TLAS/settlem
Hadoop运行模式（一）、本地运行模式（官方WordCount）、完全分布式运行模式（开发重点）、scp安全拷贝、rsync 远程同步工具、xsync集群分发脚本、同步环境变量配置（root所有着）
Redamancy06的博客
08-03 858
完全分布式运行模式1）准备3台客户机（关闭防火墙、静态IP、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量6）配置集群7）单点启动8）配置ssh9）群起并测试集群、scp（secure copy）安全拷贝、望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）、修改脚本xsync具有执行权限、注意：如果用了sudo，那么xsync一定要给它的路径补全、创建在hadoop-3.1.3文件下面创建一个testinput文件夹、在testinput文件下创建一个word.txt
【Hadoop-HDFS】HDFS常用操作命令
最新发布
weixin_53543905的博客
04-04 5753
普通创建：递归创建：-s选项将显示文件长度的汇总摘要，而不是单个文件。-h选项将以“人类可读”的方式格式化文件大小（例如64.0m而不是67108864）(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)【Hadoop-HDFS】HDFS常用操作命令
Hadoop集群间文件拷贝
Yampery
01-08 3225
文章主要介绍了Hadoop集群减文件拷贝的使用，借助源码简要分析了拷贝过程。
hadoop 命令操作hdfs 目录权限 管理
萌兔兔MMQ！！
04-02 2413
由于公司的大数据平台 搭建的比较简陋，还要让 之前根本没有接触过 hadoop平台的开发 算法人员使用，他们的错误操作 经常给你带来 意外的惊喜和 感动的泪水，我心里有十万个 MMP。。。 所以刚开始就想干脆像 初中小学那样写个班规似的 使用规范吧，但是规范的约束力是有限的，需要大家相互信任，但是总有人会错误操作的风险，怎么办 怎么办，只能通过强制的方法 解决这个局面。 好汉 大部分都是被逼上梁山的，平台的演进大多也是根据眼前出现的问题 不断精益求精的。所以搭建 权限管理 势在必行。 先简单 介绍一下 思想
大数据环境准备hadoop集群搭建(三节点)
qq_34577182的博客
03-01 1566
文章目录前言1. 安装大数据集群前的环境准备3. hadoop集群的安装2. hadoop集群的安装第一步：上传压缩包并解压第二步：查看hadoop支持的压缩方式以及本地库第三步：修改配置文件修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml修改slaves文件第四步：创建文件存放目录第五步：安装包的分发scp第六步：配置hadoop的环境变量第七步：集群启动1. 格式化集群2. 脚本一键启动第八步：浏.
又双叒叕来更新啦！！Hadoop——基础篇
5akura's Blog
07-09 941
文章目录Hadoop基础篇大数据概论Hadoop入门Hadoop的组成HDFS架构概述Yarn架构MapReduce架构大数据的技术生态体系开发环境搭建安装jdk安装Hadoop本地模式伪分布式模式启动HDFS并运行MapReduce程序配置集群启动集群启动YARN并运行MapReduce程序配置集群启动集群配置历史服务器日志的聚集配置完全分布式模式（重点！！）准备工作编写集群分发脚本xsync集群配置集群单点启动SSH免密登录免密登录的原理群起集群crond系统定时任务集群时间同步使用chrony搭建nt
大数据 数据治理 数据血缘组件之—Atlas1.2 集成solr5.5.1 踩坑之旅
HouJoe的博客
02-03 941
Atlas1.2 集成solr 踩坑之旅 1.修改配置文件 vim atlas-application.properties #修改如下配置 atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181 进入 solr/bin 目录，修改 solr.in.sh 文件 [atguigu@hadoop102 solr]$ vim bin/solr.in.sh #添加下列指令 ZK_...
一起hadoop（二） 流写出文件并上传至HDFS
鸠摩智
07-10 667
文件写出至本地并且上传至HDFS文件系统中。 将5000份文件写入本地，并且上传至HDFS，接下来的事情应该是继续读取HDFS中的数据然后进行分析。
Hadoop distcp拷贝
02-20 1万+
Hadoop数据迁移（集群内迁移，集群间迁移），主要通过拷贝数据来完成。对于小量数据，可以使用"hadoop fs -cp"来完成；对于大量数据，可以借助Distcp 来完成。 Distcp介绍 Distcp是Hadoop自带的分布式拷贝工具。它基于MapReduce实现，将需要拷贝的源数据尽量平均地split到多个map中，每个map将负责的split拷贝到目的集群上，最终利用了Ma
hadoop文件复制的使用实例
qq_26479655的博客
09-22 831
因为集群经常要复制文件，所以写了一下脚本#!/bin/bash#文件复制方法 function copyFile { i=$1 fpath=$2 #传输文件，判断是否为文件夹 if [ -d "$fpath" ]; then scp -r $fpath root@slave$i:$out elif [ -f "$fpath" ]; then scp $fpath
hadoop distcp使用
weixin_30551963的博客
05-20 870
概述 distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用distcp操作提供指南并阐述它的工作模型。 ...
hadoop操作HDFS文件权限问题
Andrew的成长之路
09-24 9088
在window下使用Eclipse进行hadoop的程序编写，然后Run on hadoop 后，出现如下错误：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/":root
CDH环境HDFS权限问题
L, there!
07-30 8005
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。 目录 设置 验证 如 启动spark-shell 切换hdfs用户 这样每次操作都需要切换不太方便，如yarn在调度时，通常会生成一些临时文件，执行完毕会删除，如果权限不够会导致出错。H...
熟悉常用的 HDFS 操作
拉格朗日的迷妹
04-14 1万+
1）向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，则由用户来指定是  追加到原有文件末尾还是覆盖原有的文件；  （覆盖）（追加）2）从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；  （-test用于判断 ）3）将 HDFS 中指定文件的内容输出到终端中； 4）显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息...
CDH权限不够，修改用户和用户组为root
热门推荐
NeverGiveup54的专栏
01-19 2万+
不知道大家有木有遇到过CDH中使用默认的用户和用户组导致有些地方的文件权限操作和用户操作的各种问题。CDH默认安装的时候，会创建各种用户，hdfs，hive，spark，impala，sqoop等等的用户，但往往我们在做一些操作的时候往往权限不够，导致各种各样的问题，如：只能使用hdfs用户执行job，只能使用hdfs用户下使用hive，JobHistory Server的日志在监控WEB界面不能
HDFS——如何将文件从HDFS复制到本地
qiezikuaichuan的专栏
08-26 5843
下面两个命令是把文件从HDFS上下载到本地的命令。 get 使用方法：Hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 示例： hadoop fs -get /user/hadoop/file localfile hadoo
Hadoop集群操作指南与常用命令详解
本资源主要介绍了Hadoop集群的一些关键命令操作，适合对大数据处理和分布式计算感兴趣的用户进行学习和实践。Hadoop是一个开源框架，用于处理海量数据，它包括Hadoop Distributed File System (HDFS) 和 MapReduce ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值