操作目的
1、在Linux环境下 编写HDFS写文件程序的java文件
2、编译并打包HDFS的写程序
3、执行HDFS的写程序
环境、工具说明
1、先搭建一个 Hadoop 的基础集群环境
参考:Hadoop集群搭建
2、JDK版本:jdk1.8
安装配置过程
3、工具:xshell5
4、VMware 版本:VMware Workstation Pro15
5、Hadoop:3.3.0
在clinet节点上编写HDFS写程序
1、在将要编写 java 程序的节点上配置环境变量
此处我选择了 slave1 节点
[root@slave1 ~]# vim /etc/profile
1
在最后写入如下内容
export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
export JRE_HOME="/usr/lib/jvm/java-1.8.0/jre"
export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP