常用的Hadoop操作

常用的Hadoop操作

1. 启动hadoop，在HDFS中创建用户目录“/user/hadoop”（现在已经在hadoop目录/usr/local/hadoop）；
   方法：cd /usr/local/hadoop
   ./sbin/start-dfs.sh(启动Hadoop)
   ./bin/hdfs dfs -mkdir -p /user/hadoop(创建目录)
   效果如下图：

2. 在此用户目录下创建text文件夹，并查看文件列表；
   方法：./bin/hdfs dfs -mkdir test(创建test)
   hadoop fs -ls /user/hadoop(查看文件列表)
   效果如下图：
   注：如果运行查看文件夹的命令时出现hadoop:未找到命令，可能是环境变量中没有写入hadoop的路径；
   解决办法：vim ~/.bashrc 打开.bashrc文件，在开头加入以下内容
   export PATH=$PATH:/usr/local/hadoop/bin 保存并退出执行如下命令让.bashrc文件生效source ~/.bashrc

3. 将～/.bashrc文件上传到HDFS的test文件夹，并查看test
   方法：./bin/hdfs dfs -put ~/.bashrc test(上传)
   hadoop fs -ls /user/hadoop/test(查看)
   效果图如下：
   

4. 将HDFS文件夹test拷到本机“/usr/local/hadoop”目录下
   方法：hadoop fs -get /user/hadoop/test /usr/local/hadoop
   hadoop fs -get [hdfs文件的路径] [要下载到的目标路径]
   效果图如下：