Hadopp应用

（一）、HDFS配置和启动

修改HDFS配置并在集群中启动HDFS。

查看各个namenode和datanode是否启动

切换到node1

(二)、HDFS命令行测试

    在集群节点中输入HDFS命令行完成目录管理和文件上传/下载等操作，具体完成以下操作：

查看HDFS根目录；

在HDFS根目录创建文件夹test；

从Linux中上传一个文件至HDFS的/test目录；

将该文件从HDFS下载至/Home目录中。

(三)、HDFS Java API测试

       1. 在IntelliJ IDEA或Eclipse环境中创建一个Maven项目，并使用HDFS的Java API操作HDFS

(1) 下载IntelliJ IDEA或Eclipse，并创建Maven项目；

(2) 编辑pom.xml文件，引用必要的Hadoop和HDFS组件，注意Hadoop中的JDK版本与Windows中的版本保持一致

(3) 使用Java API编写代码并调试，将Windows中的一个文件上传至HDFS指定目录。

 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>hdfsApp</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
<dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.1.2</version>
        <scope>test</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.2</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.1.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-configuration2</artifactId>
        <version>2.7</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>1.7.30</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.1.2</version>
    </dependency>
</dependencies>
</project>

可能Permission denied:user=Administrator, access=WRITE,inode="/tmp":root:supergroup:drwxr-xr-x

写入权限问题，解决此问题后可完成API调试

解决方案之一：

1.NameNode所在节点创建一个和windows一样的用户(注意大小写)

   如：adduser Administrator

2.创建一个子目录，将权限赋予该用户

   如：hadoop fs -mkdir /usr

       hadoop fs -chown Administrator /usr

二：或者直接改编辑器的环境变量，改为能访问目录的用户名，或者直接改为root。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class Main {
    public static void main(String[] args) throws IOException {
        upload();
    }
    public static void upload() throws IOException {
        Configuration config = new Configuration();
        config.set("fs.defaultFS", "hdfs://192.168.137.2:9000");
        FileSystem hdfs = FileSystem.get(config);
        Path local = new Path("file:/D:/uploadtohdfs.txt");
        Path remote = new Path("hdfs://192.168.137.2:9000/tmp/uploadtohdfs.txt");
        hdfs.copyFromLocalFile(local, remote);
        System.out.print("file upload success!");
        hdfs.close();
    }
}

       (4) 在集群中使用HDFS命令查看是否上传成功。

(四)、HDFS REST API测试

       按照文档《Python访问HDFS REST API》所示，使用Python测试HDFS REST API。

Python必须要修改C:\Windows\System32\drivers\etc\hosts文件（要管理员权限才能修改），添加节点的ip和名称

import pyhdfs

# 访问HDFS的REST API接口
# 可使用主节点的IP地址或主机名（使用主机名须配置Windows的hosts）
# 端口号为HDFS的Web服务端口，而不是Java API的主服务端口
fs = pyhdfs.HdfsClient(hosts='192.168.137.2:50070',user_name='root')

# 创建hdfs文件夹
path='/mkbydir/'
if not fs.exists(path):
    fs.mkdirs(path)
file='test.txt'
file_name=path+file

# 从本地拷贝文件到hdfs
if not fs.exists(path + file) :
    fs.copy_from_local('D:/Service.txt', path + file)

ps：hadoop是本地服务器，就算连接不到外网也没关系，只要节点之间没问题都能跑通