- 博客(7)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 IDEA解决Maven仓库jar下载失败
在Maven仓库中有些jar包虽然引入到了pom文件中，但是刷新pom时这个jar总是下载失败！第一步、去maven仓库中将所需的jar下载到本地第二步、尝试将下载好的jar假如本地仓库（仅作jar文件路径是否正确的验证）第三步、在idea中点击package重写命令并运行重启就OK了！#################################本次以redislab为指导操作确...
2020-03-29 12:18:24
715
原创 Can't get Compute Engine task status.
Sonar导出PDF插件用IDEA打包报错：Can't get Compute Engine task status.将test skip就OK了
2020-03-27 11:39:52
2947
2
原创 SparkStreaming变慢问题分析
SparkStreaming跑着跑着会变慢！我们的任务是每秒解析1800条数据，而每天早上我去查看解析速度的时候发现每秒只解析了500条左右！看了下Yarn集群的运行日志，我发现每天晚上凌晨的时候都有一个定时的job在运行！这导致本来集群资源就不足！3个计算节点每个节点16核128G，一共才48核。我们的SparkStreaming任务 Repartition了一次（提高并发量），这样则Re...
2020-03-26 11:22:39
1228
1
原创 HBase Import MR运行显示成功但是没有写入数据
这里没有报任何错误，如果导入的文件路径不对或者说没有表运行时肯定会报错的。上图中没有报错而且提示运行成功！问题出在哪里呢？？？？？应该去查看你导入的目标表创建时指定了列簇的TTL否？如果指定了 那么请将目标表的TTL设置大于一天也就是86400！！！TTL如果小于or等于86400则会失败。create 'test:ErrorsTable',{NAME => 'f1', TTL=...
2020-03-18 19:10:05
746
1
原创 Flume常见Source、Channel、Sink配置
整合一下Flume常见的Source、Channel、Sink的配置--------------------------常见的Source的配置--------------------Avro Source配置：参数默认值描述channels-与之相连的Channel，可以配置多个。用空格隔开。在单个代理流程中，是通过channel连接sources和sinks。一...
2020-03-12 18:03:01
1548
原创 Flume消费Kafka数据写入HDFS
主要是消费kafka中不同topic落入不同的文件夹上这里仅作为参考因为我是在华为云上使用Flume消费Kafka数据到OBS（华为云的对象存储产品 s3a）适当做了修改Flume版本1.6.0#这里Source1、2 channel01 sink02 随便写 只需要在后面引用的时候对应起来就好server.sources = Source1 Source2 server.channe...
2020-03-12 16:13:37
542
原创 Container killed by YARN for exceeding memory limits
SparkOnYarn资源不足本以为申请的资源够了呢，没想到任务跑了3个小时就死掉了去Yarn上看日志看到下面这个玩意儿20/03/12 11:33:03 ERROR YarnClusterScheduler: Lost executor 2 on node-ana-corePKeW: Container killed by YARN for exceeding memory limits...
2020-03-12 15:41:23
579
bigdata面试.zip
2020-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人