HDP
文章平均质量分 71
jzy3711
Committed to solving actual problems, not Baidu can do it at a glance. When solving the problem, it will analyze the cause of the problem and intersperse some source-level things.
展开
-
kinit: KDC can‘t fulfill requested option while renewing credentials
1,检查配置文件/var/kerberos/krb5kdc/kdc.conf,在[realms]下需要有max_renewable_life = 7d。为啥推荐使用klist,执行命令需要和和klist中的Default principal: root@AM.COM对应。3.klist 查看cache文件 或者在/etc/krb5.conf中查看相应的配置文件,推荐使用klist。在测试集群上装上了kerberos,今天同事需要使用kinit -R 命令,在执行时报错。8.重新执行kinit -R成功。原创 2022-10-02 08:10:25 · 2925 阅读 · 0 评论 -
hive集群加了个参数后,union all的任务都执行不了影响业务
今年1月内蒙的数据中台和大数据平台上线,运行至今很稳定,昨天半夜3点半被叫起来,说大部分任务卡住了,运行不了,追查问题,发现union all的任务都执行不了,问了现场早上改了什么吗?发现局方要求改了一个参数导致的,任务执行不了挺严重的,早上任务出不来,主任要背责任的。Hive中没有超级管理员,任何用户都可以进行Grant/Revoke操作,为了完善“超级管理员”,必须添加hive.semantic.analyzer.hook配置,并实现自己的权限控制类。3.暂时将参数改回去,回滚配置,重启服务。原创 2022-09-30 16:03:26 · 756 阅读 · 2 评论 -
配置YARN队列权限由Ranger管理
在Ambari中打开YARN配置界面(YARN->Configs->Advanced->Custom ranger-yarn-security),配置属性ranger.add-yarn-authorization为false,如下图所示。配置策略名,需要设定访问控制的队列,在用户和用户组权限中选择用户,或者组,并赋予相应的权限,如下图所示。ranger对hdfs,hive,hbase管控都没有问题,对队列的管控要不全能访问,要不全不能访问,一定是ranger哪个地方配置不对。原创 2022-09-22 14:39:43 · 1291 阅读 · 0 评论 -
amabri shell install 使用shell的方式一键式部署ambri HDP
文章目录amabri shell install 使用shell的方式一键式部署ambri HDP背景&目的准备服务器准备shell 脚本参数设计主脚本安装jdk修改主机参数配置hosts文件ssh免密执行注意版本源码版权后续期望&缺陷amabri shell install 使用shell的方式一键式部署ambri HDP背景&目的从2016年第一个ambari相关项目开始,需要频繁的部署,不同的ambari版本,使用shell实现一键式部署ambari,后期不断完善,实际上原创 2022-06-01 08:00:00 · 344 阅读 · 1 评论 -
hbase 元数据修复
hbase 元数据修复问题hbase fck 报错:..2021-12-28 16:57:20,906 INFO [main] util.HBaseFsck: Loading region information from HDFS2021-12-28 16:57:21,506 INFO [main] util.HBaseFsck: Checking and fixing region consistencyERROR: Region { meta => SYSTEM.LOG,\x0原创 2021-12-28 21:09:06 · 2923 阅读 · 0 评论 -
java.io.IOException: Couldn‘t set up IO streams: java.lang.IllegalArgumentException: KrbException
现象datanode 运行一段时间后,先stale,最后dead报错查看datanode日志:2021-12-18 07:36:09,868 ERROR datanode.DataNode (DataXceiver.java:writeBlock(869)) - DataNode{data=FSDataset{dirpath='[/data01/hadoop/hdfs/data, /data02/hadoop/hdfs/data, /data03/hadoop/hdfs/data, /data04/原创 2021-12-21 09:30:00 · 3562 阅读 · 0 评论 -
HDP2.6.5更换spark版本为2.4.5 与carbondata2.0.1集成
文章目录一更换spark版本第一种方式第二种方式一更换spark版本因为要使用的carbondata对spark版本有要求,项目中使用的carbondata版本为2.0.1,spark版本要求为2.4.5第一种方式1)、找到/usr/hdp/2.6.5.0-292/spark2/下的jars路径 并备份为jars_bak/ 2)、然后从官网下载spark-2.4.5-bin-hadoop2.7的tar包,把所有依赖的jar包拷贝到上面创建的jars路径下cd /usr/hdp/2.6.5.0-原创 2020-06-29 15:56:32 · 278685 阅读 · 0 评论 -
ambari HDP2.6.5 安装FLINK1.9
ambari HDP2.6.5 安装FLINK1.9ambari HDP2.6.5 安装FLINK1.9要下载Flink服务文件夹,请运行以下命令VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`sudo git clone https://github.com...原创 2020-01-19 18:11:34 · 287264 阅读 · 2 评论 -
HDFS,HBASE部分优化——基于大数据的全球能源信息系统
HDFS优化 DataNode打开最大文件数配置 操作场景一个HDFS Datanode同时打开的文件数量是有上限的,该上限是通过参数dfs.datanode.max.transfer.threads设置的,默认值为4096。根据集群的数据量和操作相应调高此值。操作步骤参数入口:在Ambari系统中,选择“服务 > HDFS > 配置”,通过过滤框搜索相应的参数配置...原创 2018-12-10 15:18:47 · 13285 阅读 · 0 评论 -
使用hive客户端的hdfs权限认证org.apache.hadoop.security.AccessControlException: Permission denied: user=root...
原因:hdfs上没有root用户,也没有对应的文件夹/user/root会默认以root身份去将作业写入hdfs文件系统中,对应的也就是 HDFS 上的/user/xxx , 我的为/user/root, 由于 root用户对hdfs目录并没有写入权限,所以导致异常的发生。而hdfs才有权限创建/user/root解决方法:1、第一种在hdfs的配置文件中,将dfs.permi...原创 2018-12-14 15:52:30 · 32582 阅读 · 2 评论 -
ambari HDP 删除卸载脚本(可用需要修改)
cat del.ship_array=("10x.30.5.180" "10x.30.5.181" "10x.30.5.182" "10x.30.5.183" "10x.30.5.184" "10x.30.5.185" "10x.30.5.186" "10x.30.5.187" "10x.30.5.188" "10x.3原创 2018-12-05 16:56:11 · 13523 阅读 · 0 评论