Hadoop HDFS文件操作

11人阅读 评论(0) 收藏 举报
分类:

1、添加目录,HDFS默认工作目录为 /user/{user},其中{USER}为当前登录的用户名。
hadoop fs -mkdir -p /user/root
2、查看目录文件列表
hadoop fs -ls -R /
这里写图片描述
3、将文件从本地目录put到hdfs中
hadoop fs -put /root/example.ext /user/root
这里写图片描述
4、删除文件
hadoop fs -rm 文件名
5、从HDFS拷贝文件到本地系统
hadoop fs -get 文件名
6、查看文件内容
hadoop fs -cat 文件名
这里写图片描述
7、管道
hadoop fs -cat example.txt|grep hjhg
这里写图片描述
8、查阅帮助
hadoop fs -help
hadoop fs -help ls
这里写图片描述

查看评论

Hadoop笔记四之Hdfs文件读写操作

本例是hdfs中关于文件的读写操作描述。
  • ty4315
  • ty4315
  • 2016-07-19 22:04:58
  • 450

Hadoop - HDFS API 对文件进行操作

问题导读: 1. 文件从HDFS读取到本地 2. 文件从本地写入到HDFS 3. 常用操作(增删改查) 注:hadoop 2.4.1 api 文档 解决方案: 文件读取 pac...
  • PeersLee
  • PeersLee
  • 2016-11-04 16:39:07
  • 1393

Hadoop—HDFS读写文件操作---练习4

1    运行环境说明 1.1  硬软件环境 l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,6G内存 l  虚拟软件:VMware® Workstation 9.0...
  • u013337889
  • u013337889
  • 2015-07-19 10:34:07
  • 764

hadoop源码 - HDFS的文件操作流 写操作(客户端)

在前面的博文中我主要从客户端的角度讲述了HDFS文件写操作的工作流程,但是关于客户端是如何把数据块传送到数据节点,同时数据节点又是如何来接受来自客户端的数据块呢?这就是本文将要讨论的。     在客...
  • Mrknowledge
  • Mrknowledge
  • 2014-05-13 10:47:28
  • 839

hadoop-hdfs-文件工具类(Scala)

package com.avcdata.spark.job.utilimport java.io.{File, FileInputStream, FileOutputStream, IOExcepti...
  • qq_16038125
  • qq_16038125
  • 2017-03-14 16:34:04
  • 1799

hadoop初识之七:linux 中eclipse 读写HDFS文件

/opt/tools/workspace/npl_hdfs/src/main/java/com/npl/hadoop/senier/hdfs --==================添加hadoop...
  • nipanlong001
  • nipanlong001
  • 2017-08-15 21:36:07
  • 167

Hadoop-利用java API操作HDFS文件

这段时间学习了python和hadoop,主要用于数据处理方面,因此打算写几篇这方面的博客。不过不是我的原创,我也是利用前辈的工作展示给大家。把自己学到的东西,也是比较初级的东西展示给需要的同学。 ...
  • u010156024
  • u010156024
  • 2015-11-30 16:28:29
  • 13505

Hadoop之HDFS文件操作

摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
  • wangloveall
  • wangloveall
  • 2014-06-05 05:52:47
  • 64375

Hadoop hdfs文件操作,mr demo,topN demo

  • 2016年01月20日 20:11
  • 32KB
  • 下载

Hadoop之HDFS文件读写过程

一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs =...
  • u013800147
  • u013800147
  • 2015-05-22 16:04:45
  • 9414
    个人资料
    持之以恒
    等级:
    访问量: 5万+
    积分: 1599
    排名: 3万+