hadoop基础操作

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量657 收藏
点赞数
分类专栏： 大数据&云计算 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TYA_Saras/article/details/120959959
版权

1、cmd
2、ssh root@IP地址
3、输入密码
4、输入操作

操作
创建文件夹
  hadoop fs -mkdir /地址
查看指定路径的当前目录结构
  Hadoop fs -ls /地址
把文件从本地复制到DFS文件夹中
  可以直接在cmd界面scp 文档路径 root@ip地址:./
从DFS文件拷贝到本地
  hadoop fs -get 地址 >本地
删除空目录
  Hadoop fs -rmdir
查看文件内容
  hadoop fs -cat 地址

  hadoop jar
退出ssh
  ctrl+D/exit/logout

TYA_Saras
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop基本用法回顾
beautiful_girl_love的博客
02-21 5131
研一时，跟着老师写完了一个大数据项目，现在不怎么写了，发现很多东西都忘了，还要从网上找资料，从今天起，开始多写博客，每天更新一篇作为记录 今天复习hadoop的基本用法：【配置ubuntu启动环境说明，本人的hadoop ubuntu虚拟机已经配置好了】（hdfs-site.xml，core-site.xml，mapred-site.xml已经配置好了，本次是设置ubuntu快捷启动和eclip...
Hadoop第二天
KYX_2023的博客
09-12 604
一、基本日常操作命令 整个文件系统有一个顶层目录： / bin : 存放一些可执行的程序（命令） boot：存放系统启动所需要的一些文件 dev：系统中的设备（硬件在Linux中通过“文件”来标识） etc：存放配置文件的地方 home：用户目录的总目录，比如用户hadoop的主目录:/home/hadoop lib lib64：系统库目录 mnt：用于挂载外部存储设备的文件 root：是ro...
Hadoop(一)--涉及到的Linux操作系统命令
weixin_45044349的博客
10-24 1988
一、基本命令 (1)查看当前目录 pwd命令用于显示当前目录： [root@master ~]# pwd /root (2)目录切换 cd命令用来切换目录： [root@master ~]# cd /usr/cstor [root@master cstor]# pwd /usr/cstor (3)文件罗列 ls命令用于查看文件与目录： [root@master cstor]# ls (4)文件或目录拷贝 cp命令用于拷贝文件，若拷贝的对象为目录，则需要使用-r参数： [root@master cst
Hadoop学习笔记01：学习Linux常用操作命令
那人独钓寒江雪
10-09 2361
1>.ls （横向查看目录） ll（竖排查看目录）2>.mkdir （创建文件夹）3>.cd 文件夹名 （进入该文件夹） cd …（返回上一级目录）4>.rm 文件/夹名 （删除，可以接-f忽略不存在的文件，-i互动模式，-r递归删除会有危险。这是删除文件）（-rf才是删除文件夹）5>.mv 文件/夹名（移动文件,-f 强制移动直接覆盖文件，-i会询问，-u若存在且比目标文件新，才会覆盖）6>.pwd（查看当前工作目录,-p显示实际路径）7>.df -h (查看云服务器的内存)
hadoop基本操作.docx
10-28
【Hadoop基本操作详解】 Hadoop是一个开源框架，主要...总之，掌握Hadoop的HDFS基本操作是进入大数据世界的关键一步，这不仅可以帮助你管理和操作数据，也为后续深入学习MapReduce、YARN等Hadoop组件打下坚实基础。
实验2 Hadoop基本操作.docx
07-27
【Hadoop基本操作详解】 Hadoop是一个开源框架，主要用于处理和存储大规模数据，尤其适合非结构化的分布式数据。它的核心组件主要包括Hadoop MapReduce和Hadoop Distributed File System（HDFS）。MapReduce是处理...
Hadoop期末操作备忘录
01-04
【Hadoop期末操作备忘录】是一份针对学习和使用Hadoop技术的学生或专业人士的重要参考资料。这份备忘录旨在帮助用户在期末复习阶段系统地回顾和掌握Hadoop的核心概念、关键组件以及实际操作技巧，从而在考试或项目中...
Hadoop大数据开发基础.rar
10-14
【实例简介】 ...│ └── Hadoop基础操作.ppt ├── 第4章 │ └── MapReduce入门编程.ppt ├── 第5章 │ └── MapReduce高级编程.ppt └── 第6章 └── 基于knn的电影网站用户性别预测.ppt
Java执行hadoop的基本操作实例代码
08-30
Java执行hadoop的基本操作实例代码 Java执行hadoop的基本操作实例代码是hadoop生态系统中的一部分，这些代码用于在hadoop中执行基本操作，如上传文件到HDFS、下载文件到本地、删除hdfs中的文件等。下面将详细介绍...
查看及切换目录
m0_55834564的博客
08-12 1001
home： 存放所有用户文件的根目录，是用户主目录的基点，比如用户user的主目录就 是/home/user，可以用~user表示；/lost+found： 这个目录平时是空的，系统非正常关机而留下“无家可归”的文件（windows下叫什 么.chk）就在这里。/mnt： 系统管理员安装临时文件系统的安装点，系统提供这个目录是让用户临时挂载其他的。/var： 用于存放运行时需要改变数据的文件，也是某些大文件的溢出区，比方说各种服务的。/usr ： 用于存放系统应用程序；...
Hadoop常用命令
weixin_33835103的博客
08-26 312
1、查看Hadoop HDFS支持的所有命令 hdfs dfs 2、查看指定目录下内容 hdfs dfs –ls [文件目录] eg：hdfs dfs –ls /user/hive 3、循环列出目录、子目录及文件信息 hdfs dfs –lsr [文件目录] eg：hdfs dfs –lsr /user/hive 4、查看某个已存在文件 hdfs dfs –cat [file_p...
常用的Hadoop操作
m0_47169157的博客
09-18 9804
常用的Hadoop操作常用的Hadoop操作 常用的Hadoop操作 启动hadoop，在HDFS中创建用户目录“/user/hadoop”（现在已经在hadoop目录/usr/local/hadoop）； 方法：cd /usr/local/hadoop ./sbin/start-dfs.sh(启动Hadoop) ./bin/hdfs dfs -mkdir -p /user/hadoop(创建目录) 效果如下图： 在此用户目录下创建text文件夹，并查看文件列表； 方法：./bin/hdfs dfs
hadoop常用命令
热门推荐
陌涂
08-13 5万+
环境配置参考链接： https://blog.csdn.net/u011596455/article/details/53115410 一、hadoop所在目录 cd usr/local/hadoop 二、启动hadoop bash ./starth.sh % 运行start-dfs.sh % 运行start-yarn.sh 启动dfs，浏览器查看： 17...
虚拟机安装克隆及免密登陆
HONEY225的博客
12-04 4507
linux常用命令 1.目录操作 1.1 创建目录（mkdir） ​ 当前目录创建目录：mkdir 目录名 ​ 指定目录创建目录：mkdir /指定目录/目录名 1.2 切换目录（cd） ​ 切换到根目录：cd / ​ 切换到上一级目录：cd …/ ​ 切换到home目录：cd ~ ​ 切换到上次访问的目录：cd - ​ 切换到本目录下的文件目录：cd 文件夹名 ​ 切换到目标目录：cd /xxx/xx/x 1.3 查看目录（ls) ​ 查看当前目录下的所有目录文件：ls ​
hadoop的启动与关闭
m0_54866636的博客
04-18 4462
1.hadoop安装目录bin目标下存放着控制相关启动和关闭文件。如下，截图。 2.首先，我们可以使用find / -name hadoop，查询一下hadoop的安装目录。 3.执行cd /usr/local/hadoop/hadoop-1.2.1/bin/进入bin目录下。 4.执行sh start-all.sh便启动了hadoop。 5.执行sh start-all.sh 便关闭了hadoop。 ...
物联网架构之Hadoop
moluxiangfenglo的博客
07-23 882
Hadoop的体系结构设计旨在处理和分析大数据集，通过分布式存储（HDFS）、资源管理（YARN）、并行计算（MapReduce）等核心组件，提供了一种可靠、可扩展的大数据解决方案。其生态系统的丰富性和灵活性使得Hadoop能够适应不同类型和规模的数据处理需求。hadoop的核心结构Hadoop分布式文件系统，用于存储大规模数据集。主要包括一个NameNode（主节点）和多个DataNode（从节点）。
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 997
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值