环境变量 vi/etc/profile : HADOOP_HOME and PATH
hadoop 配置
hadoop-env.sh : JAVA_HOEM
core-site.xml : hadoop.tmp.dir /dfs.defaultFS
hdfs-site.xml : dfs.replication /dfs.namenode.
首次启动需要格式化 ./bin/hdfs namenode -format
启动/关闭 hadoop ./sbin/start|stop-dfs.sh ./sbin/mr-
尝试访问
hdfs dfs -ls /
hdfs dfs -mkdir /kb10
hdfs dfs -chmod -R 777 /kb10
hdfs dfs -rm -r /kb10
hdfs dfs -put FILE /kb10
hdfs dfs -get /kb10/FILE
hdfs dfs -rm -f /kb10/FILE
hdfs dfs -cat /kb10/FILE
同时启动hdfsh和yarn
start-all.sh
stop-all.sh
yarn容错机制
AppMaster : Job
DN Error : Yarn 调取备份DN重建分布任务
AppMaster Error : Yarn重启一个AppMaster
Yarn Error : 装配hadoop-ha cluster(集群)