![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
韦晓阳
忘川,相忘回首已成川
展开
-
MapReduce几种运行模式
mr job的几种运行模式1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器 执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行 2、在Linux的eclipse中...原创 2018-08-24 08:36:40 · 621 阅读 · 0 评论 -
Hadoop在eclipse上安装插件
1、下载1、首先从git下载源码https://github.com/winghc/hadoop2x-eclipse-plugin2、编译准备win7编译首先需要安装jdk、ant、Eclipse3、解压插件将插件hadoop2x-eclipse-plugin-master.zip解压到某个的目录。如:D:\ hadoop2x-eclipse-plugin-master...原创 2018-08-23 09:09:55 · 1625 阅读 · 0 评论 -
Hadoop namenode 数据恢复
hdfs的namenode元数据是存储在硬盘上的,但是断电可能会造成元数据丢失,发生数据丢失以后,可以采取以下方法对数据进行恢复。 先format namenode:hadoop namenode –format然后把SNameNode上的${SecondaryNameNode Checkpoint directories}路径下所有文件远程拷贝到NameNode的${NameNode...原创 2018-08-23 08:59:54 · 1198 阅读 · 0 评论 -
Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate
当我们做大数据开发的时候,无论是MapReduce、hbase还是hdfs在本地调试都需要hadoop环境,没有这个环境就会报错:Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe...原创 2018-08-17 13:50:00 · 2059 阅读 · 0 评论