MapReduce知识点总结

一.nodemanager配置问题

1. 资源总量cpu core 8 内存8g 这个是默认的可以进行更改，这是资源上限
2. 真是内存只有2G，你启动容器的时候，可能会起不来，内存不足，会出现问题，如果你把内存配成1个G你真实内存只有
3. 2G,去掉机器占的，你启动mr程序会报错，因为你开辟的空间不够。mrappmaster默认最小参数是1.5G所以启动的时候
4. 可能报错，启动不起来。nodemanager 需要最小配成2G可 能报错，起不起来。nodemanager 需要最小配成2G
5. 二.mapreduce编程模型和mapreduce模型实现程序之间的关系
   MAVEN默认只打自己写的类，依赖的类他是不会打的。

三.hadooop jar 的作用在集群上

1. 如果要在hadoop集群的某台机器上启动这个job提交客户端的话
2. conf里面就不需要指定 fs.defaultFS mapreduce.framework.name
3. 因为在集群机器上用 hadoop jar xx.jar cn.edu360.mr.wc.JobSubmitter2 命令来启动客户端main方法时，
4. hadoop jar这个命令会将所在机器上的hadoop安装目录中的jar包和配置文件加入到运行时的classpath中
5. 那么，我们的客户端main方法中的new Configuration()语句就会加载classpath中的配置文件，自然就有了
6. fs.defaultFS 和 mapreduce.framework.name 和 yarn.resourcemanager.hostname 这些参数配置

四.mapreduce要点复习
总结：利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。

总结：hadoop并不会跟某种具体的行业或者某个具体的业务挂钩，它只是一种用来做海量数据分
析处理的工具