大数据
binbin_civil1
Read The Fucking Source Code.
展开
-
hadoop报错Container is running beyond memory limits
写在前面在我们运行hive时,有时会报内存使用超过了限制的异常,内容如下:Container [pid=18578,containerID=container_e29_1554258701746_2799_01_000007] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical me...原创 2019-04-11 15:32:56 · 3050 阅读 · 0 评论 -
Application should be expired, max number of completed apps kept in memory met: maxCompletedAppsInMe
前言今天我们的yarn集群出现了一个奇怪的问题,在资源足够的情况下,提交的job一直处在ACCEPTED状态,不能运行。我们的集群是CDH-5.13.3-1.cdh5.13.3.p0.2,提交到root.users下的任何一个queue(root.users.hive和root.users.root)的job都不能运行,提交到root.default的job可以运行。但是我们不使用root.d...原创 2019-05-20 21:48:18 · 4162 阅读 · 3 评论 -
kafka offset & flink & spark structured streaming
前言Kafka有offset的概念,offset记录每个groupId对于每个topic的每个partition里已经提交的读取位置。当comsumer程序失败重启时,可以从这个位置重新读取数据。可以通过如下方法查看一个groupId的offset:root@h2:~# /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server h2...原创 2019-05-21 16:19:22 · 3584 阅读 · 2 评论