HDFS常用操作

大数据学习笔记01

学习林子雨大数据教材的一些笔记

HDFS常用操作

1. 启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；

   $ cd /usr/local/hadoop
   $ ./sbin/start-dfs.sh
   $ jps
   

2. 在Linux系统的本地文件系统的“/usr/local/spark/mycode”目录下新建一个文本文件Word.txt

   $ cd /usr/local/spark
   $ mkdir mycode
   $ touch Word.txt   ||  $vim Word.txt
   

3. 将HDFS中Word.txt文件在终端显示

   $ pwd   查看所在路径     
   $ ./bin/hdfs dfs -cat ./Word.txt
   

4. 在HDFS中的“/user/hadoop”目录下，创建子目录input，把HDFS中“/user/hadoop”目录下的test.txt文件，复制到“/user/hadoop/input”目录下；

   $ cd  /usr/local/hadoop
   $ ./bin/hdfs  dfs  -mkdir  /user/hadoop/input
   $ ./bin/hdfs  dfs  -cp  /user/hadoop/test.txt  /user/hadoop/input
   

5. 删除HDFS中“/user/hadoop”目录下的test.txt文件，删除HDFS中“/user/hadoop”目录下的input子目录及其子目录下的所有内容。

   $ cd  /usr/local/hadoop
   $ ./bin/hdfs  dfs  -rm  /user/hadoop/test.txt
   $ ./bin/hdfs  dfs  -rm  -r  /user/hadoop/input
   

Spark读取文件系统的数据

1. 在pyspark中读取Linux系统本地文件“/home/hadoop/Word.txt”,Spark安装
   在“/usr/local/spark”目录。

   $ cd  /usr/local/spark
   $./bin/pyspark
   >>> textFile=sc.textFile("file:///home/hadoop/test.txt")
   >>> linecount=textFile.count()
   >>> print(linecount)
   

2. 在pyspark中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

   >>> textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")
   >>> linecount=textFile.count()
   >>> print(linecount)
   

3. 编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”

   $  cd  ~
   $  vim test.txt   #自行输入一些文本数据,然后保存退出(Esc :wq)
   $  cd  /usr/local/hadoop  #进入Hadoop的安装目录
   $  ./sbin/start-dfs.sh   #启动Hadoop
   $  ./bin/hdfs dfs -put ~/test.txt /user/hadoop  #把本地文件test.txt上传到HDFS中
   $  ./bin/hdfs dfs -ls /user/hadoop/  #验证文件是否上传到HDFS中
   $  ./bin/hdfs dfs -cat /user/hadoop/test.txt  #查看HDFS中的test.txt文件内容
   $ cd  ~           # 进入用户主文件夹
   $ mkdir  ./sparkapp        # 创建应用程序根目录
   $ cd sparkapp
   $ vim SimpleApp.py         #编写该应用程序
   $ cd ~/sparkapp
   $ /usr/local/spark/bin/spark-submit SimpleApp.py   #submit方式运行该程序,查看到结果