hadoop大数据基础复习笔记-day1

Hadoop集群启动顺序为：

如果Hadoop集群是第一次启动，可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动，启动的步骤如下。

（大方向是yarn on hdfs 所以先启动节点 再启动MapReduce的）

1、启动Hadoop的HDFS模块里的守护进程(start-dfs.sh)

HDFS里面的守护进程启动也有顺序，即：

①启动NameNode守护进程。

②启动DataNode守护进程。

③启动SecondaryNameNode守护进程。

2、启动MapReduce模块里面的守护进程(start-yarn.sh)

MapReduce的守护进程启动也是有顺序的，即：

①启动 JobTracker守护进程。

②启动TaskTracker守护进程。

2．启动MapReduce模块里面的守护进程(start-yarn.sh)

3、启动日志进程(mr-jobhistory-daemon.sh start historyserver)

******************************************************************************************************************

关闭集群的顺序与启动Hadoop的顺序相反：

1. 关闭MapReduce模块里面的守护进程(stop-yarn.sh)
2. 关闭Hadoop的HDFS模块里的守护进程(stop-dfs.sh)
3. 关闭日志进程(mr-jobhistory-daemon.sh stop historyserver)

**************************************************************************************************************************

yarn的监控界面 默认端口号master:8088   注：在yarn-site.xml中设置

hdfs的监控界面默认端口号master:50070   注：在hdfs-site.xml中设置

 

*********************************************************************************************************************

hdfs基本命令：

查询hdfs信息方式

• hdfs dfsadmin -report  [-live] [-dead] [-decommisioning]     

    // llive 查看在线 、dead查看挂掉的节点、decommisssioning查看停掉的节点   及其相关数据的统计

在hdfs上创建目录

• hdfs dfs -mkdir -p /user/test/example    //不带p创建多级目录会失败
• hdfs dfs -rm      /user/test/example         //删除

将本地文件拷贝到hdfs系统上去

• hdfs dfs -copyFromLocal  a.txt   /user/data     //将当前目录下的a.txt 拷贝到hdfs文件系统的 /user/data 下
  • hdfs dfs -copyToLocal     /user/data/a.txt  .     //从HDFS拷贝 到本地当前目录
  • hdfs dfs -get   /user/data/a.txt   .    //同上
• hdfs dfs -moveFromLocal  a.txt   /user/data   //移动
• hdfs dfs -put  a.txt   /user/data                         //上传
• hdfs dfs -cat /user/data/a.txt                          //查看
• hdfs dfs -tail /user/data/a.txt                         //查看文件的最后1024字节