![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 51
iteye_7017
这个作者很懒,什么都没留下…
展开
-
hadoop start
hadoop各种资料http://www.linuxidc.com/Linux/2012-07/65972.htm 1.hadoop机架http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843015.html 2.镜像是什么意思镜像(Mirroring)是冗余的一种类型,一个磁盘上的数据在另一个磁盘上存在一个完全相同的...原创 2015-06-11 11:23:40 · 91 阅读 · 0 评论 -
stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory
stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory 造成上述错误的原因是,默认情况下hbase的pid文件保存在/tmp目录下,/tmp目录下的文件很容易丢失,所以造成停止集群的时候出现上述错误。解决方式是在hbase-env.sh中修改pid文件的存放路径,配置项如下所示: # Th...原创 2015-12-21 21:56:00 · 793 阅读 · 0 评论 -
FailedPredicateException(identifier,{useSQL11ReservedKeywordsForIdentifier()}?)
在执行hive官网的Apache Weblog Data例子的时候, 报错信息如下 原因:Most likely there is a column named user. I believe in HDP 2.3, hive doesn't allow columns named keywords like date or user etc解决方法:在user字段前面...原创 2015-12-06 12:15:37 · 698 阅读 · 0 评论 -
due to the exception:java.io.FileNotFoundException: minlog-1.2.jar
使用beeline登录到hive服务端的时候报错了,错误信息如下:解决办法:单独下载这3个jar包,然后放入到hive的lib目录下,再配置hive-site.xml配置文件,如下: <property> <name>hive.aux.jars.path</name> <value>file:///root/ap...原创 2015-11-30 23:36:24 · 414 阅读 · 0 评论 -
Hive启动报错: Found class jline.Terminal, but interface was expected
启动hive时报如下错误: 条件:hive1.2.1 hadoop2.5.2 原因: hadoop目录下存在老版本jline:/hadoop-2.5.2/share/hadoop/yarn/lib:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar 解决: cp /hi...原创 2015-11-30 22:11:22 · 148 阅读 · 0 评论 -
使用Hive进行join查询的时报错
1.在使用hive时进行单表查询没问题,但是使用join查询报错,错误信息如下: 2.分析日志,估计是reduce task为0的原因,于是就测试了下(测试的时候,设置reduce task的数量为0),果然报一样的错误,错误信息如下: 解决办法:删除hive使用的mysql数据库,重新配置,设置hive的reduce task的默认个数为1,而不是-1,然后就好了。在...原创 2015-11-30 21:44:09 · 1144 阅读 · 0 评论 -
Hive启动时,遇到java.net.URISyntaxException: Relative path in absolute URI
当启动hive的时候遇到如下错误:解决办法:1.创建一个工作目录mkdir /opt/hive2.在hive1.2 的配置文件hive-site.xml中修改如下配置,修改成绝对路径: <property> <name>hive.exec.scratchdir</name> <value>/opt/h...原创 2015-11-25 23:11:15 · 678 阅读 · 0 评论 -
hadoop problem
1. 启动hadoop2.5.2遇到的datanode启动不了日志信息如下: 简单的操作是将这个节点上hadoop工作目录中内存删除就行了 2.Hadoop开启关闭调试信息开启:export HADOOP_ROOT_LOGGER=DEBUG,console关闭:export HADOOP_ROOT_LOGGER=INFO,console具体参考:http://...原创 2015-11-14 22:01:12 · 97 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform... using builtin-java cla
警告信息如下:部署Hadoop的集群环境为 操作系统 CentOS 6.7hadoop版本为hadoop-2.5.2集群中设置支持gzip lzo压缩后,在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库,本地库的默认位置在$HADOOP_HOME/lib/native/Linux-amd64-64 (64位操作系统)$HADOOP_HOM...原创 2015-11-14 18:23:45 · 637 阅读 · 0 评论 -
解决HMaster启动自动关闭
在使用start-hbase.sh启动hbase后,使用jps命令检查,发现HMaster启动了,检查启动日志也正常,但是过一会儿发现HMaster又自动关闭了,检查日志发现如下异常信息。网上找到很多,有说格式化namenode,还有说是zookeeper有问题,我都试过了,还是无法解决,今天无意间被我解决了。在启动Hbase时报如下错误: 问题:各个节点之间的时间不同步,会造...原创 2015-12-26 19:24:48 · 1098 阅读 · 0 评论