- 博客(5)
- 收藏
- 关注
RSS订阅转载 Spark 内存管理机制（转）
转载本文请加上：转载自过往记忆（https://www.iteblog.com/） 本文链接:【Apache Spark 统一内存管理模型详解】（https://www.iteblog.com/archives/2342.html） 本文将对Spark的内存管理模型进行分析，下面的分析全部是基于 ApacheSpark2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层...
2019-05-31 16:02:34
155
转载 tez on yarn
Tez Tez俗称DAG计算，多个计算作业之间存在依赖关系，并形成一个依赖关系的有向图。 Tez是运行在Yarn上的DAG,动态的生成计算的关系流。 如上图左所示的Top K问题，第一个Mapreduce实现wordcount的功能，第二个Mapreduce只用使用Reduce实现排序的问题，但是在Mapreduce中必须创建两个MapReduce任务，但是...
2019-05-17 14:00:39
1025
转载 如何理解GC日志
理解GC日志 [plain]view plaincopy 217.539:[GC(AllocationFailure)217.539:[DefNew:102646K->10770K(102976K),0.0415902secs]239776K->153169K(331528K),0.0416785secs][Times:user=0.03sys=0....
2019-05-17 13:46:56
242
转载 RPC服务和HTTP服务详解（转）
（转）https://blog.csdn.net/wangyunpeng0319/article/details/78651998 很长时间以来都没有怎么好好搞清楚RPC（即Remote Procedure Call，远程过程调用）和HTTP调用的区别，不都是写一个服务然后在客户端调用么？这里请允许我迷之一笑~Naive！本文简单地介绍一下两种形式的C/S架构，先说一下他们最本质的区别，就是RP...
2019-05-15 10:48:47
1477
原创 线上异常问题
1.kafka连接异常，报错信息如下： 19/05/12 22:44:08 INFO SimpleConsumer: Reconnect due to socket error: java.nio.channels.ClosedChannelException 19/05/12 22:44:08 INFO RecurringTimer: Stopped timer for JobGenerato...
2019-05-13 14:12:04
488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人