集群的介绍和注意事项

单机和集群模式

单机模式

注意，在单机模式下，要求Windows系统运行内存至少也是8G！

集群模式

注意，在集群模式下，要求Windows系统运行内存至少是16G！

Hadoop2.x架构内部模型-HDFS和Yarn

Hadoop模块之间的关系

1. MapReduce计算需要的数据和产生的结果需要HDFS来进行存储
   2.MapReduce的运行需要由Yarn集群来提供资源调度。

hadoop中的好用的命令和注意事项

cd … 只能返回上一级
cd - 这个命令能直接返回到上一次输入命令的文件位置
注意：hadoop在不使用的情况下要点击VMware中的关机

短时间不使用可以用VMware中的挂起客户端，
长期不使用可以用命令shutdown -h now进行关机（远程不建议）
可以用命令reboot进行重启（远程一般用此方法）

进程的介绍

DataNode和NameNode：hdfs
SecondaryNameNode：hdfs
RunJar：hivesever2
RunJar：metastore
NodeManager：yarn
JobHistoryServer：日志
ResourceManager：yarn
上述有两个RunJar
用命令jps -m来看这两个属于哪个