- 博客(8)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 yarn NullPointerException
yarn重启后，部分nm启动不了，报空指针问题2015-03-26 07:41:00,367 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.LocalizedResource: Resource hdfs://:8020/user/hive/.staging/job_142607352...
2015-03-26 17:03:22
142
原创 yarn NullPointerException
0/user/hive/.staging/job_1426073522130_3022/libjars/guava-11.0.2.jar(->/data7/yarn/nm/usercache/hive/filecache/84380/guava-11.0.2.jar) transitioned from INIT to LOCALIZED2015-03-26 07:41:00,391 INFO org.apache.hadoop.service.AbstractService: Servi
2015-03-26 17:03:22
179
原创 mapreduce mapper access security hbase
环境：security cdh 5.2.0security hbase启动mapreduce的账户为hive或者others（非hbase），如下假设以bi账户为例 出发点：mapper/reduce程序中读取hbase中数据，或者写入hbase数据 踩过的坑：在mapreduce的job创建过程中加入如下认证代码UserGroupInformation...
2015-03-17 14:42:30
81
原创 mapreduce mapper access security hbase
，或者写入hbase数据 踩过的坑：在mapreduce的job创建过程中加入如下认证代码UserGroupInformation.setConfiguration(conf); UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerberos.principal"), conf.get("hbase.keytab.path")); a.若此处使用该节点bi账户的认
2015-03-17 14:42:30
64
原创 sentry服务后，几个权限问题
以账户bi为例[b]问题一[/b]：账户bi beeline ldap后，对于外联表需要外联/user/bi目录下的数据。解决：根据sentry文档，需要给/user/bi授权uri ALL权限。GRANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之[b]问题二[/b...
2015-03-10 16:08:58
652
原创 sentry服务后，几个权限问题
ANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之[b]问题二[/b]：账户bi运行mapreduce需要读取/user/hive/warehouse下的数据。解决：一般/user/hive/warehouse属于hive:hive，根据sentry要求，配置771权限。为了让bi账户对该目录有访问权限，借助aclhadoop fs -setfacl -R -m user:bi:r
2015-03-10 16:08:58
466
原创 cloudera新增用户权限配置
目标：给各个业务组提供不同用户及用户组，并有限制的访问hdfs路径，及hive数据库。前提：clouderacloudera managerkerberosldapsentry问题与解决：hive client直走hive的本地模式，没有经过hiveserver2，所以此种方式能访问所有的数据库，具有超级管理员权限；考虑使用beeline形式。登...
2015-03-05 16:13:29
474
原创 cloudera新增用户权限配置
hive client直走hive的本地模式，没有经过hiveserver2，所以此种方式能访问所有的数据库，具有超级管理员权限；考虑使用beeline形式。登陆方式例如： beeline -u "jdbc:hive2://172.20.0.74:10000/data_system" -nhive -p111111（ldap账户及密码） 或者 beeline!connect jdbc:hive2://172.20.0.74:10000/da
2015-03-05 16:13:29
367
想换个iteye空间背景，楞是没找到在哪设置
2012-10-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人