大数据学习---HDFS操作方法和基础编程

大数据学习----HDFS操作方法和基础编程

---

永远谦逊，保持对学习的渴望。

---

第一章 Linux安装 第二章 Linux配置 第三章 Hadoop完全分布式环境搭建 第四章 Zookeeper的安装 第五章 HBase的安装和基础命令 第六章 HDFS操作方法和基础编程

---

---

一、HDFS常用shell命令

(一)目录操作

1. 创建用户目录
   ./bin/hdfs dfs -mkdir -p /user/hadoop
   类似Linux上的命令，在前面加上./bin/hdfs dfs 就可以对HDFS的文件目录进行操作

下面再举一个例子：

2. 在根目录下创建一个input目录，下面的WordCount案例也会用这个目录。
   ./bin/hdfs dfs -mkdir /input

(二)文件操作

1. 文件上传命令
   ./bin/hdfs/dfs -put /home/hadoop/uploadTest.txt /test
   将测试文件上传到Hadoop环境上
   

2. 文件下载命令
   

二、HDFS的Web管理界面

端口号：9870

三、HDFS编程实践

案例要求：测试文件的增删查改方法。
这边采用Windows连接Hadoop，用Maven，就不用在Linux系统上下载开发工具进行开发，可以直接在Windows上进行开发。

（一）Windows 下载安装Java，Hadoop

1、JAVA安装教程太多了，不写了。jdk8，这里不要用其他jdk了，会出现一些其他问题的。
2、Hadoop3.1.3，官网下载，也可以下载其他的3.0以上的版本，3.0以下的版本安装有些不太一样
3、Hadoop3.1.3在window运行的工具winutils

Hadoop 安装：配置环境变量
cmd 命令 hadoop verison +hadoop checknative测试

（二）本地Idea安装配置Maven，导入Jar包

1.Maven配置：
在conf/setting.xml内修改本地仓库，镜像源，jdK版本。输入下面命令测试。

2.导入JAR包

这个是pom.xml依赖，依赖官网：https://mvnrepository.com/

org.apache.hadoop
hadoop-client
2.6.1

部署完成

（三）编写Java程序----HDFS 文件操作，上传下载删除

package hdfsOprator;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Test