u010608720的专栏

main : run as user is hdfsmain : requested yarn user is hdfsCan't create directory /data1/yarn/nm/usercache/hdfs/appcache/application_xxx- Permission deniedCan't create directory /data2/yarn/nm/usercache/hdfs/appcache/application_xxx- Permissi..

描述：Hbase有配HA，在运行了一段时间之后Master会自动挂掉，CM报Master有以下问题之后通过CM跳转到Hbase的Web UI界面发现如下：有一个Regions server报错，此Regions server是最近新增加的新节点，老节点正常解决方法：1.到对应Regions server上查看出问题时间点的日志，发现报以下问题Failed to load coprocessor org.apache.phoenix.coprocessor.ScanReg.

最近在用HUE添加用户的时候报了一个错误，无法创建用户（刚接手的工作）。Could not get LDAP details for users in pattern xxx. 意思是说无法从LDAP模式中获取用户xxx的信息。LDAP是个啥子？它是做统一账户管理的，详细信息大家可以百度。说正事，既然没有这个新用户的信息，那就到对应的ldap服务器上添加对应的用户和组信息就可以了。登录LDAP服务器，跳转到*/usercentry目录执行命令：bashusercentry xx.

错误描述Secure Client Cannot Connect ([Caused by GSSException: No valid credentials provided(Mechanism level: Failed to find any Kerberos tgt)])解决方法：1、一种是由于kerberos的keytab权限问题导致，一般用kinit -kt /var/lib/hadoop-hdfs/hdfs.keytab hdfs/admin 类似的命令可以解决。2..

首先要说明的是本篇所解决的问题1、hive分区没创建成功。2、分区下面小文件过多。3、合并小文件后新生成的文件没有按指定格式压缩。数据流场景如下图：Hive分区按每小时4个每15分钟生成一个的策略，也就是说每小时会有mm=00、mm=15、mm=30、mm=45 四个分区。问题背景：当时在通过Cloudera Manager做HDFS的HA操作，因此要停止Hive服务执行更新Hive MetaStore NameNode操作，导致执行2个小时的过程中没有生成...

2020-07-02 14:02:46,504 WARN org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hdfs/xxxx@xxxx.COM (auth:KERBEROS) cause:org.apache.hadoop.ipc.RemoteException(javax.security.sasl.SaslException): GSS initiate failed2020-07-02 .