安装hadoop

安装

LINUX 安装步骤参考 https://www.cnblogs.com/zingp/p/11223220.html
注：
1、start-dfs.sh 文件路径在hadoop解压目录下的/hadoop-3.3.1/sbin下

#hdfs
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root
#yarn
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2、启动时提示localhost: ssh: connect to host localhost port 22: Connection refused

1. 安装SSH
2. 如果是端口不可用，修改

/etc/hadoop/hadoop-env.sh

export HADOOP_SSH_OPTS="-p XXXX"

3、openjdk没有jstack、jstat、jps等命令解决办法

yum install java-1.8.0-openjdk-devel -y

4、start-all.sh命令启动失败时
在sbin/下执行

yarn --daemon start nodemanager
hdfs --workers --daemon start
hdfs --daemon start datanode

hadoop相关指令

1、下载hdfs文件到本地

bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path

区别：copyToLocal的源路径只能是一个本地的文件。而put的源路径可能是多个文件，也可能是标准输入。
当hadoop fs -put - hdfs://host:port/hadoop/hadoopfile时表示从标准输入接收数据，这个时候目标路径必须是一个文件。

2、指令

HDFS上创建目录

${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1

上传本地文件到HDFS上

${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1

上传本地文件到HDFS上

${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml

从HDFS上下载文件到本地

${HADOOP_HOME}/bin/hdfs dfs -get /demo1/core-site.xml

查看文件

hadoop fs -ls
hadoop fs -du -h