![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
奔跑的小鲫鱼
关于学习Java的总结以及遇到的问题及解决方法的描述
展开
-
【Hadoop】伪分布式安装---MapReduce程序运行到YARN上,编写MapReduce程序---HDFS yarn
在我的虚拟机(Linux)上安装的Hadoop是2.7.3版本的,安装过程可以参考这个网站,也可以下载。http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation(1)首先先传解压(2)查看目录结构需要删除bin/*.cm...原创 2018-06-10 14:38:24 · 414 阅读 · 1 评论 -
【Hadoop】MapReduce的配置 ---配置历史服务器
下面介绍MapReduce的配置相关介绍:并行计算框架(2.X),思想:分而治之 核心: Map:并行处理数据,将数据分割,一部分一部分的处理 Reduce:将Map的处理结果进行合并。 配置 cd {Hadoop_home}/etc/hadoop cp mapred-site.xml.template mapred-site.xml 因为Hadoop里面没有mapred-site.x...原创 2018-06-10 14:57:54 · 1095 阅读 · 4 评论 -
【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题?你解决了吗?
(1) 浏览器问题 当你配置都完成了,你输入主机名+端口号去访问时,不能访问,但是你得确定前面的配置的哪些步骤都没有错,这可能是你浏览器的问题,我推荐用Chrome或者火狐,这两个基本上是可以的。(2) 域名问题 当你输入IP地址+端口号能访问时,这时你就得看看你的Windows上的映射是否配置成功,可能是在你在配置Windows中的映射的时候配置错了或者是你没有配置。C:...原创 2018-06-10 16:09:53 · 597 阅读 · 2 评论 -
【Hadoop】Hadoop1.X版本与Hadoop2.X的区别
学习时,突然想到这个问题,总结一下 一.从整体上来说 Hadoop1.X即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS由一个NameNode和多个DateNode组成,MapReduce由一个JobTracker和多个TaskTracker组成。Hadoop1.X面临者一下几个问题。 问题一、(高可用HA) Nam...原创 2018-07-07 23:27:18 · 6323 阅读 · 0 评论 -
【Hadoop】java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException
查看日志中的报错信息如下:java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details :local host is: "1.datanode3/72.118.0.15"; destination host is: "1.server1":...原创 2020-04-08 20:08:53 · 6143 阅读 · 0 评论