哦头大哦真是,距离课程结束一年多了,连集群都忘记怎么启动了wuwuw
- Hadoop的优势:
- 高可靠: 数据不会丢失(数据副本)
- 高扩展: 多个集群超多个节点
- 高容错: 任务出错中断了 也还会再重新执行
- Hadoop组成
- Yarn:负责资源调度分配
- MapReduce:负责计算
- Hdfs : 文件存储系统
- Hadoop运行模式
- 本地模式
- 伪分布式
- 完全分布式
- 环境搭建:Hadoop本地模式安装和分布式模式安装详细步骤
- 群起集群:
- 启动hdfs
start-dfs.sh
:datanode&namenode - 启动yarn
start-yarn.sh
:ResourceManager&NodeManager
- 启动hdfs
- 端口号
- 50090:查看SecondaryNameNode信息
- 50070:查看namenode信息
- 50090:查看SecondaryNameNode信息