- 博客(1)
- 资源 (3)
- 收藏
- 关注
原创 分析hadoop日志之前传-采用flume进行日志收集
公司hadoop集群有几百台了,对整体集群的计算能力还需要有个总体的掌握,每天有多少job计算,占用slot,MR有多少,哪些任务比较占用时间,需要放到比较空闲的时间计算等。。任务来了,我们该怎么办呢?由于公司集群大部分运行在hadoop 1.x上,在hadoop 1.x里job都是在jobtracker里进行分配,所以,可以对jt进行日志采集,然后对日志进行分析即可得到集群的任务分配,运行情况了
2015-07-22 18:11:12 5424 1
flink-shaded-hadoop-2-uber-2.7.5-7.0.jar
Flink 1.10 跑作业时候报ClassNotFoundException: yarn.exceptions.YarnException。必须把这个jar放到flink的lib目录下就搞定
2020-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人