hadoop：常用web界面和命令

HADOOP：

yarn:

ResourceManager的_8088_端口：yarn的web管理界面

http://sparkproject1:8088

hdfs:

hdfs的web管理页面

http://sparkproject1:50070

yarn常用命令：

启动yarn：
./sbin/start-yarn.sh
停止：
sbin/stop-yarn.sh
?
如果配置了环境变量，则无需进入目录，直接执行即可。


yarn application -list? 查看当前运行中的任务

yarn logs -applicationId application_1560530316371_0005? 查看任务运行的历史日志

hdfs常用命令：

启动hdfs：
./sbin/start-dfs.sh
停止hdfs
./sbin/stop-dfs.sh

单节点启动hdfs：
启动namenode
bsin/hadoop-daemon.sh start namenode
启动datanode
sbin/hadoop-daemon.sh start datanode
 
注意：此方式只是单个节点启动namenode或datanode


HDFS shell?
查看帮助
hadoop fs -help <cmd>
hadoop fs -mkdir -p /Hadoop/Input（在HDFS创建目录）
上传
hadoop fs -put <linux上文件>  <hdfs上的路径>
如：
hadoop fs  -put  ./words.txt /     （后面的斜杠代表hdfs根目录）
hadoop fs -put /opt/spark/spark-2.0.2-bin-hadoop2.7/testt/fileTest/anlifenxi01.txt  /spark/anlifenxi01
查看文件内容
hadoop fs -cat <hdfs上的路径>
查看文件列表
hadoop fs -ls /
下载文件
hadoop fs -get <hdfs上的路径>  <linux上文件>
 
其他：
https://blog.csdn.net/u010867462/article/details/52054069
 
 
上传文件：
hadoop fs -put <linux上文件> <hdfs上的路径>    注意是两个目录！
查看HDFS文件目录：
hadoop fs -cat /words.txt
 
查看HDFS文件系统数据的三种方法：
 
https://blog.csdn.net/flyfish111222/article/details/51995523/
 
查看hdfs文件中的内容：
 
hadoop fs -cat /words.txt
 
下载hdfs文件到linux：
 
hadoop fs -get /words.txt

Spark：

http://192.168.31.210:4040/jobs/