Hadoop学习(一)伪分布式安装、HDFS

第二单元 伪分布式安装、HDFS Shell

1、环境

操作系统: CentOS-7-x86_64-DVD-1810.iso

JDK: jdk-8u131-linux-x64.tar.gz

hadoop: hadoop-2.8.1.tar.gz

3、安装

3.1 JDK安装 、配置环境变量

vim /etc/profile

export JAVA_HOME=/usr/local/src/jdk1.8.0_131
export HADOOP_HOME=/opt/hadoop-2.8.1
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

source /etc/profile

3.2 配置免密登录（RSA MD5）

生成公钥和私钥

ssh-keygen -t rsa  或者 ssh-keygen
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

3.3 hadoop伪分布式安装

【【修改hadoop配置文件】】
hadoop-env.sh
	配置JAVA_HOME
core-site.xml
	<configuration>
	<!-- 指定HADOOP所使用的文件系统，hdfs的namenode的地址 -->
	<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.172.133</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录，hadoop的工作目录 -->
	<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/hadoop/tmp</value>
	</property>
	</configuration>

hdfs-site.xml
	<configuration>
	<!--指定hdfs副本的数量 -->
	<property>
	<name>dfs.replication</name>
	<value>3</value>
	</property>
	</configuration>

mapred-site.xml
	<configuration>
	<!-- 指定mr运行在yarn上 -->
	<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	</property>
	</configuration>

yarn-site.xml
	<configuration>
	<!-- 指定yarn的ResourceManager的地址-->
	<property>
	<name>yarn.resoucemanager.hostname</name>
	<value>hdp1</value>
	</property>
	<!-- reducer获取数据的方式，数据调度机制（分组等操作） -->
	<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
	</property>
	</configuration>

格式化HDFS文件系统

hadoop namenode -format

4.1 启动

start-dfs.sh

4.2 查看进程、访问UI

jps

http://192.168.172.133:50070

4.3 停止

stop-dfs.sh

5、HDFS Shell (HDFS 基本命令)

hadoop fs -ls /           
hadoop fs -lsr 
hadoop fs -mkdir /user/hadoop 
hadoop fs -put a.txt /user/hadoop/ 
hadoop fs -get /user/hadoop/a.txt /       
hadoop fs -cat /user/hadoop/a.txt 
hadoop fs -rm /user/hadoop/a.txt
hadoop fs -rmr /user/hadoop/a.txt 

hadoop fs -cp src dst 
hadoop fs -mv src dst 
hadoop fs -text /user/hadoop/a.txt 
hadoop fs -copyFromLocal localsrc dst 与hadoop fs -put功能类似。 
hadoop fs -moveFromLocal localsrc dst 将本地文件上传到hdfs，同时删除本地文件

6.1 HDFS写流程

客户端要向HDFS写数据，首先要跟NameNode通信以确认可以写文件并获得接收文件block的DataNode,然后客户端按顺序将文件block传递给相应DataNode,并有接收到block的DataNode负责向其他DataNode复制block副本。

1）客户端Client跟NameNode通信请求上传文件，NameNode检查目标文件是否存在，父目录是否存在

2）NameNode响应客户端，返回是否可以上传

3）Client会先对文件进行切分，比如一个block块128M,文件300M就会被切分成3个块，两个128M,一个44M。请求第一个block该传输到哪些DataNode服务器上

4）NameNode返回DataNode服务器地址。（机架感知）

5）Client请求第一台DataNode上传数据 （RPC调用，建立pipeline） ，第一个DataNode收到请求会继续调用第二个DataNode,然后第二个调用第三个DataNode, 将整个pipeline建立完成，逐级返回客户端。

6） 当一个block传输完成时，Client再次请求NameNode上传第二个block的服务器。

6.2 HDFS读流程

客户端将要读取的文件路径发送给NameNode,NameNode获取文件的元信息返回给客户端，客户端根据返回的信息找到DataNode 逐个获取文件的block 并在客户端本地进行数据合并从而获得整个文件。

1）客户端跟NameNode通信查询元数据（block所在的DataNode节点），找到文件块所在的DataNode的服务器

2）挑选一台DataNode（就近原则，然后随机）服务器，请求建立socket流

3）DataNode开始发送数据

4）客户端以packet(数据包： 一个packet为64kb )为单位接收，先在本地缓存然后写入到目标文件中，后面的block块就相当于append（追加）到前面的block块，最后合成最终需要的文件。

7、HDFS-JAVA-API

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.bawei</groupId>
    <artifactId>hdfsdemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.8.1</version>
        </dependency>

    </dependencies>
</project>

package com.zsw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

/**
 * Created by xiang on 2019/12/28.
 */
public class HDFSClient {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.172.133:8020");
        FileSystem fs = FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("F://12.txt"), new Path("/"));
    }
}