![](https://img-blog.csdnimg.cn/20190918135101160.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 72
Hadoop大数据平台及相关组件
Cloud孙文波
不忘初心,方得始终
展开
-
kafka os::commit_memory(0x00007f2e0d204000, 12288, 0) failed; error=‘无法分配内存‘ (errno=12)
故障现象:kafka报错如下,经过了多次调配jvm的内存限制,问题依旧修复增加操作系统允许创建的最大内存映射数:sysctl -w vm.max_map_count=<number of memory maps> #default is 65536sysctl -w vm.max_map_count=262144其他内核参数优化调整net.nf_conntrack_max = 6553600net.ipv6.conf.all.disable_i原创 2022-01-05 10:50:35 · 4309 阅读 · 0 评论 -
CDH6 impala impala java.lang.OutOfMemoryError: GC overhead limit exceeded
背景:开发同事反馈连接impala 刷新表连接超时问题现象:使用命令连接impala引擎后执行invalidate metadata default.hjc03161408;起初报错如下:Error: Couldn’t open transport for cdh6-krb5.senses-ai.com:26000 (connect() failed: Connection refused) (state=HY000,code=0)impala 实例组件如下图:排查经过:telnet 了一原创 2021-03-18 13:14:20 · 895 阅读 · 0 评论 -
CDH6 开启kerberos Hive的Sentry 用户权限分配
原理内容来之https://developer.aliyun.com/article/25491 Sentry简介:Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成.........原创 2021-03-03 12:44:20 · 2146 阅读 · 3 评论 -
Hadoop No FileSystem for scheme “hdfs“ 客户端环境变量配置
我当前的/etc/profile文件配置的环境变量export JAVA_HOME=/opt/java/jdk1.8.0_131export SPARK_HOME=/opt/spark-2.4.4-bin-hadoop2.7export HIVE_HOME=/usr/hdp/current/hive-clientexport LIVY_HOME=/opt/livy/livy-0.5.0-incu...原创 2021-02-04 17:34:43 · 726 阅读 · 0 评论