- 博客(4)
- 收藏
- 关注
RSS订阅原创 【spark】关于spark的shuffle模式的一些见解
我不想说太多源码层面的东西，然后把详细方法一个个列出来，其实没有多大意义（因为源码里有，再者比我讲的清晰明白的大有人在，我没有必要再重复相同的东西），但是我真的花了好大的精力才把这部分看完，我得记录下，不然会忘掉一、spark到底有几种shuffleManager（shuffle管理类）可以选择？首先spark早期的版本（比如1.5.1版本），是有三种shufflehttp://spark.apache.org/docs/1.5.1/configuration.html#shuffle-b.
2020-06-30 20:17:34
1495
4
原创 【spark】都有哪些级别的容错或者失败重试？
哎，我又来写文章了！最近在看spark源码（照着这本书看的《Spark内核设计的艺术架构设计与实现》），想整理一些东西（一些以前面试被问到的在我脑中没有体系的知识点吧）1、Application级别的容错spark.yarn.maxAppAttempts如果没有手动配置这个参数，那就会使用集群的默认值yarn.resourcemanager.am.max-attempts，默认是2，这是hadoop的yarn-site.xml里面配置的，当然spark.yarn.maxAppAttem.
2020-06-28 11:25:41
4770
15
原创 【spark】on yarn的模式下，如何上传files并在程序中读取到？
在使用spark的时候，往往我们需要外部传入文件，来配合程序做数据处理那么这就涉及到，如何传入，如何获取（本文讨论的是spark on yarn）？讲实话，我觉得这个问题挺烦的，我百度了好久（可能我姿势不对？），各种博客，stackoverflow，community.cloudera.com都找过，我觉得回答方都停留在理论基础，并没有show me code，我实际测试的时候，好像又和他们说的不太一样，哎，要是能有统一的入口，统一的出口就好了1、client模式client模式下.
2020-06-24 15:58:12
4180
2
原创 【java】获取线程池中的线程返回结果，Future和FutureTask的使用
本文会结合Future描述下线程池的使用场景最近因为换了工作，新工作需要更多的时间熟悉和上手，所以好久没有写文章了！不过其实也一直有在看一些东西，比如Netty，spark源码（其实以前有看过，但是太囫囵吞枣忘得差不多了），然后想起我以前写过一个线程池相关的文章，但是对于线程池的使用只是一笔带过，所以今天想具体来写写【java】线程池概念，如何使用线程池？：https://blog.csdn.net/lsr40/article/details/101428779案例：曾经...
2020-06-15 20:15:19
7511
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人