cm 怎么限制hue数据下载_CDH遇到的问题

CDH添加高hdfs高可用后，hive，impala查询报错

0: jdbc:hive2://localhost:10000/> select count(1) from person;

Error: Error while compiling statement: FAILED: SemanticException Unable to determine if hdfs://bi-master:8020/user/hive/warehouse/gtp.db/person is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://bi-master:8020/user/hive/warehouse/gtp.db/person, expected: hdfs://nameservice1 (state=42000,code=40000)

解决办法：

1.进入Hive服务并停止Hive的所有服务

2.点击 “操作” => "点击“更新Hive Metastore NameNode” =>“重启”

3.重启impala

4.假如有安装hue的话，

hdfs添加HttpFS角色

hdfs添加HttpFS.png

hue配置

hue指向httpFS.png

这样就能保证hue能找到正确的namenode

CDH集成kerberos后，hbase赋权报语法错误

一般这种情况是因为hbase:acl表丢失了

点击Hbase Web UI入口

hbase-web入口.png

查看hbase:acl

hbase_acl.png

假如hbase:acl不存在的话, 进入zookeeper相应目录删除/hbase目录

注意：相应的目录得由相应的principal来操作, 否则会报 Authentication isnot valid (zkclient可通过getAcl 查看权限)

解决办法：

1.获取要删除的注册目录的ACL

[root@bi-master ~]# zookeeper-client -server bi-master:2181

Connecting to bi-master:2181

....

[zk: bi-master:2181(CONNECTED) 1]

[zk: bi-master:2181(CONNECTED) 1] ls /

[cluster, controller, brokers, znode001, zookeeper, hadoop-ha, admin, isr_change_notification, dubbo, otter, controller_epoch, consumers, hive_zookeeper_namespace_hive, latest_producer_id_block, config, hbase]

[zk: bi-master:2181(CONNECTED) 2] getAcl /hbase

'world,'anyone

: r

'sasl,'hbase

: cdrwa

2.创建jaas-zk-keytab.conf文件

[root@bi-master ~]# vi /usr/deng_yb/jaas-zk-keytab.conf

Client {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

keyTab="/opt/cm-5.11.0/run/cloudera-scm-agent/process/1247-hbase-HBASERESTSERVER/hbase.keytab"

storeKey=true

useTicketCache=false

principal="hbase/bi-master@WONHIGH.COM";

};

3.在操作zookeeper前将jaas-zk-keytab.conf加载到环境变量

[root@bi-master ~]# export CLIENT_JVMFLAGS="-Djava.security.auth.login.config=/usr/deng_yb/jaas-zk-keytab.conf"

[root@bi-master ~]# zookeeper-client -server bi-master:2181

[zk: bi-master:2181(CONNECTED) 9] rmr /hbase

4.重启hbase

5.假如还是不行的话，在CM上把hbase服务删除，再重新添加即可

在CM看不到YARN 执行程序(例如spark)的日志

解决办法：

yarn_acl管理.png

要么就disableACL管理，要么就yarn.admin.acl=*

关于SSH问题

有这样一个场景，其他机器需要登陆集群执行shell命令，这时候需要用到ssh，举例

#!/bin/sh

.....

for file in `cat $KETTLE_REPOSITORY/gtp/gtp_msck_repair/gtp_tables.txt`

do

sql_msck=" msck repair table $file;"

echo $file

echo $sql_msck

expect<

set timeout 10000

spawn ssh $gtp_user@$gtp_ip "beeline -u 'jdbc:hive2://$gtp_ip:$gtp_port/gtp;principal=$gtp_principal' --hiveconf mapreduce.job.queuename=datacenter -e 'msck repair table $file;' "

expect "password: "

send "$gtp_password\n"

expect eof

exit

END

echo "finish"

done

#简单说下，就是通过ssh，expect远程登陆服务，登陆beeline执行表修复命令

1.当时这个脚本在开发和生产集群能运行，但在测试死活都运行不了，ssh版本和配置都一样，kdc服务正常，HiveServer2服务也正常

2.实在找不到差异的原因，考虑到有可能是命令带 ";" 分号导致的，就把该脚本分成两份

vi /usr/deng_yb/repair.sh

#!/bin/sh

gtp_ip=$1

gtp_port=$2

gtp_principal=$3

table=$4

ssh wms_test@test-gtp-cdh-node01 << eeooff

beeline -u 'jdbc:hive2://${gtp_ip}:${gtp_port}/gtp;principal=${gtp_principal}' --hiveconf mapreduce.job.queuename=datacenter -e 'msck repair table ${table};'

eeooff

原来的脚本改

...

spawn sh /usr/deng_yb/repair.sh $gtp_ip $gtp_port $gtp_principal $table

...

然后这两个脚本就能在任何环境执行了 (虽然方法笨，但胜在解决问题)

关于CM生成keytab问题

配置了KDC HA后，发现在CM上面新添加角色会报类似以下的错误

生成keytab失败.png

我们查看kdc日志发现，生成keytab的动作交给了从KDC操作，因为从KDC没有写权限，因此导致失败

查看krb5.conf文件

[realms]

WONHIGH.COM = {

kdc = bi-master

admin_server = bi-master

default_realm = WONHIGH.COM

kdc = bi-slave1

#admin_server = bi-slave1

把admin_server=bi-slave1注释掉即可

sparkstreaming消费kafka信息报错

Exception in thread "streaming-start" java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V

at org.apache.spark.streaming.kafka010.Subscribe.onStart(ConsumerStrategy.scala:85)

at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.consumer(DirectKafkaInputDStream.scala:70)

at org.apache.spark.streaming.kafka010.DirectKafkaInputDStream.start(DirectKafkaInputDStream.scala:240)

at org.apache.spark.streaming.DStreamGraph$$anonfun$start$5.apply(DStreamGraph.scala:49)

at org.apache.spark.streaming.DStreamGraph$$anonfun$start$5.apply(DStreamGraph.scala:49)

at scala.collection.parallel.mutable.ParArray$ParArrayIterator.foreach_quick(ParArray.scala:143)

解决办法

spark2配置界面设置kafka客户端版本号

kafka设置版本号.png

sqoop导数问题

1.数据库到hive过程中任务执行一半报错

建议先建表，再导入数据，不建议直接在sqoop命令自动建表,hbase同理

字段类型要设计好

2.从关系型数据库到hive，结果列错位，很多列变成NULL

错位是因为oralce表里面某些列包含切分的字符'\t',导致其中一列列切分成两列，从而列错位；

重新定义列分割字符，找个没有在数据中体现的，例如'^'

3.从关系型数据库到hive，结果行数不一样，count出来比原来多

行数变多是因为oracle表里面某些列包含行切分字符'\n'；

因为目前的hive版本行切分只支持'\n',所以不能替换，加上--hive-drop-import-delims消除数据里面的'\n'