hadoop 学习笔记005(shell命令简单了解)

最新推荐文章于 2021-10-27 15:46:20 发布
最新推荐文章于 2021-10-27 15:46:20 发布
阅读量441 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010503822/article/details/78290565
版权
这篇博客介绍了Hadoop环境下的文件检查、文件拷贝、文件数量统计、磁盘空间查询以及文件移动等基本shell命令操作，帮助理解Hadoop在Linux系统中的权限管理和DFS操作。
摘要由CSDN通过智能技术生成

1.checksum 检查文件是否损坏

linux环境下baby:babyes没有这个用户

    sudo chown baby:babyes install.log
    chown: invalid user: `baby:babyes'

2.hadoop环境下

hadoop fs -ls /

hadoop fs -chown baby:babyes /myfile.txt

没有问题！尽管这里没有用户baby:babyes，hadoop默认使用的是linux的管控权限，没必要在自己做一个权限管理！

3.拷贝文件到dfs 

    hadoop fs -copyFromLocal mytext.txt /
    hadoop fs -cp mytext.txt /
<
最低0.47元/天 解锁文章
Anald
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop启动权限问题
Today_2018的博客
03-18 3105
Hadoop启动权限问题 hadop 安装完成后，运行脚本start-all.sh 启动hadoop 伪分布式集群，出现以下问题 一开始以为是免密登录没有成功，删除.ssh文件后，在配置一遍免密登录依然出现这个问题，随后看了错误信息，初步怀疑是hadoop 里面的logs文件无法打开，后面又提示了权限的问题，在次确认是hadoop里面的logs文件权限问题。 显示logs所属的组和用户为roo...
Hadoop常见错误解决
npu_wy的专栏
04-17 723
原文地址:http://www.cnblogs.com/haoxinyue/archive/2013/06/06/hadoop.html 1. 通过命令和查看日志文件查看hadoop启动和运行情况 在NameNode端，可以通过 tail -100 /var/log/hadoop/hadoop/hadoop-hadoop-namenode-hadoop-namenode.lo
chown: 无效的用户: hadoop-3.1.4_chown 命令简介 | Linux 中国
weixin_34638409的博客
02-03 5063
学习如何使用 chown 命令更改文件或目录的所有权。-- Alan Formy-duvalLinux 系统上的每个文件和目录均由某个人拥有，拥有者可以完全控制更改或删除他们拥有的文件。除了有一个拥有用户外，文件还有一个拥有组。你可以使用ls -l命令查看文件的所有权：[pablo@workstation Downloads]$ ls -ltotal 2454732-rw-r--r-...
chown: 无效的用户: hadoop-3.1.4_Ubuntu 21.04 用户主目录权限将14年来首次变更及新功能预览...
weixin_33154775的博客
01-27 1574
Ubuntu 21.04的代号已经被揭露，但您要做好心理准备：这是一个庞然大物的名字！英勇的野兔？傲慢的仓鼠？催眠的蹄兔？不，Ubuntu 21.04的代号是Hirsute Hippo！河马！这是被选择代表下一个稳定版本的Ubuntu的开发代号，Ubuntu桌面主管Martin Wimpress在Twitter上透露了最新的代名词。Ubuntu Linux的下一版本Ubuntu 21.04开发正在...
hadoop 错误
haidao2009的专栏
11-13 1279
Invalid directory in dfs.data.dir: Incorrect permissio n for /hadoop/hadoop-data, expected: rwxr-xr-x, while actual: rwxrwxr-x。 hadoop集群dfs.data.dir目录权限问题导致节点无法启动
hadoop之shell命令
weixin_46738406的博客
11-20 520
#hadoop之shell命令 ##一、启动命令 启动hadoop：start-dfs.sh，start-yarn.sh 关闭hadoop：stop-dfs.sh，stop-yarn.sh 启动hdfs时可在任意节点，启动yarn得在相应yarn的主节点上执行 hadoop fs -命令（hadoop1.0的时候用的） hdfs dfs -命令（hadoop2.0的时候用的） hadoop/hdfs 启动hadoop的客户端，连接hadoop集群 fs/dfs 连接hado
HADOOP学习笔记
07-02
【HADOOP学习笔记】 在学习HADOOP的过程中，了解和掌握Linux系统管理是至关重要的，因为HADOOP通常在Linux环境下运行。本笔记主要涉及Linux用户和用户组的管理，这对于配置和维护HADOOP集群是基础性的知识。 1. **...
Hadoop-HDFS-Shell-学习资料及文档、Java代码
最新发布
10-01
内容概要： 架构、流程、机制、原理、环境、数据同步、免密登录等； HadoopHDFS-JavaRPC操作代码，含服务端和客户端代码； hadoop生态现状、介绍、部署； hadoop2.4.1伪分布式搭建； ...hdfs笔记；
Hadoop使用笔记
04-22
Hadoop集群可以利用Linux的shell命令进行维护和监控。同时，Hadoop集群的安装和配置是一个重要的步骤，需要一定的Linux知识和经验。 总的来说，Hadoop通过其分布式文件系统HDFS和MapReduce编程模型，提供了一种存储...
hadoop笔记2.pdf
03-24
根据提供的文件信息，我们可以了解到有关大数据和Hadoop的详细知识点。以下是基于文件内容的知识点梳理： **大数据的基本概念** 大数据指的是无法在一段合理的时间范围内用常规软件工具捕捉、管理和处理的数据集合...
Hadoop之HBase学习笔记
04-23
【标题】"Hadoop之HBase学习笔记"主要聚焦于Hadoop生态中的分布式数据库HBase。HBase是一个基于Google Bigtable理念设计的开源NoSQL数据库，它运行在Hadoop之上，提供高性能、高可靠性以及可水平扩展的数据存储能力...
SQOOP的安装及配置
qq_43202539的博客
06-10 272
SQOOP的安装及配置 简单配置sqoop 下载sqoop 1.4.6 的链接： 链接：https://pan.baidu.com/s/1wgEHO6BzoDzrqXAG-herBg 提取码：ifpy 1.将文件解压至 usr/local 目录下： tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local 2.在usr/local 下将sqoop重命名： mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha
QIIME 2教程. 15样品分类和回归q2-sample-classifier(2020.11)
刘永鑫的博客——宏基因组公众号
10-28 1594
文章目录前情提要预测样本元数据`q2-sample-classifier`预测样本分类**基于模型来预测样品**预测样本连续型元数据嵌套交叉验证为所有样本提供预测**分类的验证和可视化****回归的验证和可视化**最佳实践：不应该使用`q2-sample-classifier`做的事情Reference译者简介猜你喜欢写在后面 前情提要 NBT：QIIME 2可重复、交互和扩展的微生物组数据分析...
Ubuntu18.04安装Hadoop
Nick的博客
04-25 839
课程需要 安装Hadoop(太卷了) 安装Ubuntu 清华源镜像： Index of /ubuntu-releases/18.04/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/18.04/ 安装后网络模式使用NAT 配置SSH无密码登录 安装: sudo apt-get install openssh-server cd ~/.ssh/
当前用户对hadoop安装目录无足够权限
向项目经理冲刺
12-21 9915
1、首先将hadoop解压到 /opt $sudo tar -zxvf hadoop.xx.xx.tar.gz 到达/opt下，然后建立hadoop文件夹，里面建立name和data两个文件夹 $sudo mkdir hadoop 到达/hadoop $sudo mkdir name $sudo mkdir data 2、配置hadoop **core-size.xml
基于Ubuntu20.04.3 Hadoop伪分布式搭建途中遇到问题
qq_54216182的博客
10-27 1289
问题1：安装完JDK，利用java -version命令查看时，出现 openjdk version “17” 2021-09-14 OpenJDK Runtime Environment (build 17+35-ubuntu-120.04) OpenJDK 64-Bit Server VM (bulid 17+35-ubuntu-120.04, mixed mode,sharing) 这是因为VMware虚拟机安装后，会自带jdk -openjdk，我们需要删除自带jdk,并且安装我们需求
修改hdfs上的文件所属用户、所属组等读写执行控制权限
终码一生
05-19 6412
HDFS支持权限控制，但支持较弱。HDFS的设计是基于POSIX模型的，支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下，可以使用下面的命令修改文件的权限、文件所有者，文件所属组： sudo addgroup Hadoop#添加一个hadoop组 sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组 sudo gedit etc/sudoers#将hadoop组加入到sudoer 在root ALL=(ALL) ALL后 hadoop ALL=
hadoop修改启动主机名
求人不如求己
10-19 4250
修改hadoop的主机名 cd /usr/mysoft/hadoop-2.4.0/etc/hadoop/ vim slaves 修改为：xxxxxxx
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值