Hadoop使用

1 启动Hadoop

在主机上（kp-test111-crystal）使用start-all.sh命令启动HDFS和Yarn

 2 执行start.sh时候到底在干嘛？

1 start.sh文件在哪个路径下？

cd /opt/module/hadoop-2.8.3/sbin

2 start-all.sh在干嘛？

执行：start-dfs.sh及start-yarn.sh，

具体分析可参考：https://blog.csdn.net/klordy_123/article/details/83722900

# Start all hadoop daemons.  Run this on master node.

echo "This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh"

bin=`dirname "${BASH_SOURCE-$0}"`
bin=`cd "$bin"; pwd`

DEFAULT_LIBEXEC_DIR="$bin"/../libexec
HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR}
. $HADOOP_LIBEXEC_DIR/hadoop-config.sh

# start hdfs daemons if hdfs is present
if [ -f "${HADOOP_HDFS_HOME}"/sbin/start-dfs.sh ]; then
  "${HADOOP_HDFS_HOME}"/sbin/start-dfs.sh --config $HADOOP_CONF_DIR
fi

# start yarn daemons if yarn is present
if [ -f "${HADOOP_YARN_HOME}"/sbin/start-yarn.sh ]; then
  "${HADOOP_YARN_HOME}"/sbin/start-yarn.sh --config $HADOOP_CONF_DIR
fi

 3 dfsadmin 命令

NameNode启动时会进入该模式进行检测，检查数据块的完整性，处于该模式下的集群无法对HDFS进行操作，可以手动离开安全模式

# hadoop dfsadmin -safemode leave 

4 创建HDFS文件

hadoop fs -mkdir dir

参考：

Hadoop之HDFS的简单介绍及常用命令_CWJ的博客的博客-CSDN博客

HDFS一些概念的理解_CWJ的博客的博客-CSDN博客