Hadoop运行模式

什么是？
Hadoop Common
HDFS
Hadoop YARN
Hadoop MapReduce
官方WordCount案例
1、创建在hadoop-2.7.2文件下面创建一个wcinput
2、在wcinput文件下创建一个wc.input文件
3、编辑wc.input文件
4、回到Hadoop目录、opt/module/hadoop-2.7.2
5、执行程序
6、查看结果
4.2伪分布式模式
配置是按多台服务器搭的但其实只有一台
适合电脑配置一般的用来学习测试
etc/hadoop/core-site.xml
4.2.1启动HDFS并运行MapRedeuce
(1)配置集群：
（a）配置hadoop-env.sh
见到env就改JAVA_HOME
（b）配置：core-site.xml：指定HDFS中NameNode的地址fs.defaultFS hdfs://hadoop101:9000 fs.defaultFS默认采用fill 指定Hadoop运行时产生文件的存储目录：hadoop.tmp.dir /opt/module/hadoop-2.7.2/data/tmp
配置信息从官网直接复制粘贴
（c）配置：hafs-site.xml
（2）启动集群
（a）格式化NameNode 第一次启动格式化，以后不要总格式化 bin/hdfs namenode -format 格式化之前一定要把之前的数据库删掉 查看进程是否关掉 将data和logs删掉
（b）启动NameNode
（c）启动DataNode
怎么区分本地和HDFS
本地目录是可以用tab补全的
4.2.2 启动YARN并运行MapReduce程序
（1）配置集群
（a）配置yarn-env.sh
(b) 配置yarn-site.xml
（c）配置mapred-env.sh
（d）配置（对mapred-site.xml.template重命名为）mapred-site.xml
（2）启动集群
（a）启动前必须保证NameNode和DataNode已经启动
（b）启动ResourceManager
（c）启动NodeManager
（3）集群操作
（a）YARN的浏览器页面查看
4.2.3 配置历史服务器
1、配置mapred-site.xml
2、启动历史服务器
3、查看历史服务器是否启动
4、查看JobHistory
4.2.4 配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试
开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryManager
1、配置yarn-site.xml
2、关闭NodeManager、ResourceManager和HistoryManager
3、启动NodeManager、ResourceManager和HistoryManager
4、删除HDFS上已经存在的输出文件
5、执行WordCount
6、查看日志