hadoop 问题汇总

cdh hiveMetaException(message:Version information not found in metastore

修改conf/hive-site.xml 中的 “hive.metastore.schema.verification”  值为 false  即可解决 “Caused by: MetaException(message:Version information not found in metastore. )”  问题依旧。

 

1. mysql> use hive;

2. mysql> source  /opt/cloudera/parcels/CDH/lib/hive/scripts/metastore/upgrade/mysql/ hive-schema-2.1.1.mysql.sql;

执行即可

 

在启动spark时，有可能提示Log directory specified does not exist: hdfs://cdh1:8020/user/spark/applicationHistory.

su hdfs

[hdfs@slzy-server ~]$ hdfs dfs -mkdir /user/spark
[hdfs@slzy-server ~]$ hdfs dfs -mkdir /user/spark/applicationHistory
[hdfs@slzy-server ~]$ hdfs dfs -chown -R spark:spark /user/spark/applicationHistory
[hdfs@slzy-server ~]$ hdfs dfs -chmod 1777   /user/spark/applicationHistory
 

 

 

Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

hadoop fd -ls /  发现没有/hbase 目录

解决办法： 建立文件夹， 添加权限即可

su - hdfs

hdfs dfs -mkdir /hbase

[hdfs@slzy-server ~]$ hadoop fs -ls /hbase
[hdfs@slzy-server ~]$ hdfs dfs -chmod -R 777 /hbase
[hdfs@slzy-server ~]$ hdfs dfs -chmod -R 777 supergroup /
 

cdh  namenode 无法启动
java.io.FileNotFoundException: /dfs/nn/current/VERSION (Permission denied)

解决方法：
chown hdfs:root -R /dfs/nn/*

 

cdh  hive 无法启动

hive Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

解决办法：

由于/user的目录是hdfs用户创建的，使用hdfs账户没问题，但是在root用户下登录hive，没有权限访问/user下的目录，因此，需要切换到hdfs目录，执行hadoop fs -chmod 777 /user  hadoop fs -chmod 777 /tmp 授权，解决在root用户下使用hive查询的时候报错问题。
 

Oozie时出现org.apache.oozie.service.ServiceException: E0103: Could not load service classes, Cannot load JDBC driver class 'com.mysql.jdbc.Driver'

 1 将 mysql-connector-java-5.1.21.jar放在$OOZIE_HOME/libext    $OOZIE_HOME/lib下即可。

2  chmod 755 mysql-connector-java-5.1.21.jar

3 创建数据库表

通过Cloudera Manager添加Hive服务，在启动Hive的时候遇到错误：

.org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

这种情况，猜测是缺少jdbc驱动，于是添加jdbc驱动到相应的包下面。报的错中提示了lib路径，添加一下即可。

mysql-connector-java-5.1.36-bin.jar添加到hive的lib：

/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7p0.36/lib/hive/lib

 

问题 cdh hive  MetaException(message:Version information not found in metastore

把 conf/hive-site.xml  hive.metastore.schema.verification 值 设置为 false ，如果没有此属性着添加即可。

  <property>

    <name>hive.metastore.schema.verification</name>
    <value>false</value>

</property>

 

 

Hbase master启动报错：Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster Caused by: java.net.UnknownHostException:

报错原因是hbase找不到hdfs的nameservice。

解决方法，在hbase的启动CLASSPATH中加入hdfs的配置文件的路径，core-site.xml和hdfs-site.xml。

如果是在docker中启动，还需要将hdfs的配置文件的路径挂载出来：

mountPath: /var/log/hbase
hostPath: /var/log/hbase