HDFS基本命令

最新推荐文章于 2023-10-06 21:09:36 发布

赤沙咀菜虚坤

最新推荐文章于 2023-10-06 21:09:36 发布

阅读量2w

点赞数

分类专栏：数据科学文章标签： hadoop 大数据 hdfs linux java

本文链接：https://blog.csdn.net/qq_43337115/article/details/107309050

版权

数据科学专栏收录该内容

17 篇文章 2 订阅

订阅专栏

文章目录

介绍

本文为Hadoop基础实验中的HDFS基础命令实验

实验目的：

掌握Linux基本命令和HDFS基本命令。

掌握Java程序编写，编译，运行的基本方法。

实验过程：

1、Linux基本命令和HDFS基本命令完成以下操作：（30分）

（1）在Linux根目录下创建一个名为a的文件夹，

mkdir a

（2）用vim命令在文件夹a中创建一个文件b.txt，文件内容是“Hello world”，

cd mkdir
touch b.txt
echo "Hello world" > b.txt

（3）在HDFS根目录下创建一个名为test的文件夹，

hadoop fs -mkdir test

（4）将b.txt上传到test文件夹中。

hdfs dfs -put ~/b.txt

2、在eclipse环境下调试下列程序，在HDFS上创建/test/aw1.txt，并写入"hello"

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.fs.FileSystem;


 public class WordCount {

  public static void main(String[] args) throws Exception{

   Configuration conf=new Configuration();

    conf.set("fs.defaultFS","hdfs://Cent12:9000/");

     FileSystem fs=FileSystem.get(conf);

     Path path = new Path("/test/aw1.txt");

     FSDataOutputStream fos = fs.create(path);        

     fos.writeBytes("hello");

  }

 }