解决：MacOS下配置Hadoop及Hive单机遇到的问题(们)

最新推荐文章于 2022-09-09 13:52:36 发布

哈士奇说喵

最新推荐文章于 2022-09-09 13:52:36 发布

阅读量1.1k

点赞数

分类专栏：解决问题 Hadoop 文章标签： hive hadoop macos

本文链接：https://blog.csdn.net/MrLevo520/article/details/73917742

版权

解决问题同时被 2 个专栏收录

25 篇文章 0 订阅

订阅专栏

Hadoop

10 篇文章 0 订阅

订阅专栏

MacOS Sierra 10.12.1
Hadoop 2.7.3
Hive 1.2.1

前言

本来安逸搞个local 的spark算了，但是过几天我还要搞个网易云音乐的大新闻，没有hive不得劲，遂装，期间遇到的问题，一一记录

安装

基础安装，先照这个来吧，反正肯定不会一次成功，科科，还可以自己百度，很多很多的

@jeetpan–Mac 系统安装Hadoop 2.7.3

问题

这才是重点，坑

Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory

这是macos的java路径不对的问题，hadoop默认为bin/java，但是在macos中是/usr/bin/java，你不行可以which java看下是不是

解决方案：修改路径即可，在/hadoop-2.7.3/etc/hadoop目录下，vi hadoop-env.sh进行java路径配置，添加如下
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home 当然这里的路径是自己的javajdk的路径，如果你装了jdk1.8.0_131.jdk版本的，那就应该是这个

进入hive的安装目录后， bin/hive 启动卡在Logging initialized using configuration in file:/Users/mrlevo/Documents/apache-hive-1.2.1-bin/conf/hive-log4j.properties进不去

解决方案：使用sudo bin/hive

Tracking URL里的application metrics参数都是0，node的log为空只显示http://

具体表现样式：

这里写图片描述

解决方案：这是内存配置的问题，具体解决方案请看@KaP–MapReduce job hangs, waiting for AM container to be allocated

hive能够正常查询等简单操作，但是Mapred job的时候就卡着不动了

解决方案：首先看看自己机器有没有联网，别笑，真的遇到过，然后看能否启动分配任务，比如有Tracking URL = http://MacdeMacBook-Pro.local:8088/proxy/application_1498720375962_0011/这个显示，那么启动没问题，进去查看log，log中一般显示Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory，科科，请返回第一个问题

启动hive后报错如下 Exception in thread “main” Java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$ %7Bsystem:user.name%7D

解决方案：

方法一：请看hive启动时 ${system:java.io.tmpdir%7D/$ %7Bsystem:user.name%7D错误

方法二：请看@zhangwx–这里

题外话，用他们的方式后，我还是会遇到这个问题，只不过是%7Bsystem:user.name%7D问题，最后解决方案只好把hive-site.xml中的{system:user.name}删掉，解决。

Permission denied: user=root, access=EXECUTE, inode=”/tmp/hadoop-yarn”:grid:supergroup:drwx——

解决方案：这是由于权限不够造成的，对要操作的文件location或者启动都好，首先确定自己的文件具有的权限，使用hadoop fs -lsr /查看自己hdfs上所有文件，查看一下自己要操作文件的属性，使用hadoop fs -chmod 777 /你的hdfs文件目录

配置完成后，重新多次格式化namenode，启动start-all.sh，之后jps查看的时候，发现datanode没起来，导致hive启动失败

解决方案：原因是，Namenode和Datanode的NamenodeID不一致，最直接有效的办法就是修改Datanode上的namenodeID(位于/dfs/data/current/VERSION文件中）或修改NameNode的namespaceID（位于/dfs/name/current/VERSION文件中），使其一致。晋心–datanode启动不起来的各种原因