- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark性能调优之开发过程
例如，rdd1是tuple（a, b, c）， 我们需要使用rdd1的c字段，此时不需要创建一个新的RDD，直接使用rdd1就能满足需求，减少创建新rdd带来的性能开销。以后每次对这个RDD进行算子操作时，都会直接从内存或磁盘中提取持久化的RDD数据，然后执行算子，而不会从源头处重新计算一遍这个RDD，再执行算子操作。Spark中对于一个RDD执行多次算子的默认原理是这样的：每次对一个RDD执行一个算子操作时，都会重新从源头处计算一遍，计算出那个RDD来，然后再对这个RDD执行你的算子操作。
2023-05-04 17:33:08
125
原创 Kafka的分区规则（轮询分区、黏性分区）/ 生产者实现生产数据的负载均衡
Kafka中生产数据的分区规则是什么?Kafka生产者怎么实现生产数据的负载均衡?为什么生产数据的方式不同，分区规则就不一样？ 1. 先判断是否指定了分区 2. 如果指定了，就写入指定的分区 3. 再判断是否指定了Key 4. 如果指定了Key，按照Key的mur取余分区个数来决定 5. 如果没有指定Key，按照黏性分区轮询分区
2022-05-04 19:22:53
3278
原创 Spark核心概念（一）
分布式资源：Yarn，Standalone、K8s等资源容器1）将多台机器的物理资源：CPU、内存、磁盘从逻辑上合并为一个整体实现统一的资源管理使用Yarn进行资源管理。因为Yarn作为统一的资源管理平台，不论是MR，Spark还是Flink都能在上面运行，而类似Standalone的资源管理平台只能在Spark上运行，不具备统一性。所以使用Yarn作为统一的资源管理平台能够降低开销成本2.Spark on Yarn模式下运行一个程序的据体流程（Standalone模式下ResourceMana
2022-04-21 19:58:06
1923
原创 Python列表list底层源码实现及解析
1.创建listPython底层是用C写的，因此列表在底层相当结构体变量，主要源码如下所示（实际上会有很多东西，后续的源码同理）。前面之所以有两个指针，是因为一个list对象相当于双向链表中的一个节点，需要前指针和后指针进行相连。下面是创建list的源码，注意返回值是一个指针，这意味着我们定义一个列表a = []，a中实际存的是
2022-03-31 19:31:35
7532
3
原创 python报错Ran out of input
报错显示：首先进行Traceback，发现报错语句为：pickle.load()之后网上查找原因有：（1）https://www.cnblogs.com/rychh/p/9833318.html（2）https://blog.csdn.net/qq_20373723/article/details/85258535对上面作者提供的方法进行测试：import picklewith open("./data_preprocess.pkl","rb") as f1: data=pickle.
2021-10-29 22:28:21
16914
原创 近5年内有关病毒在复杂网络中传播与控制方面的20篇论文
有关病毒在复杂网络中传播与控制方面的20篇论文Paper的DOI，发表期刊（会议）以及中英文摘要都已写出，大家可根据doi在scihub进行下载。仅仅只是为了记录一下。1.Optimal ptimal control of an SIVRS epidemic spreading model with virus variation based on complex networksAuthor links open overlay panelXuDegangXuXiyangXieYongfangYan
2021-03-23 19:50:33
2047
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人