- 博客(10)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Spark 内存管理详解
在执行Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor 进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给 Driver，同时为需要持久化的 RDD 提供存储功能。由于 Dri...
2020-09-29 08:22:31
916
1
原创 trc20-node部署
前提具备至少两个钱包账户的私钥与地址；至少部署一个SuperNode用于出块；部署任意数量的FullNode节点用于同步区块、广播交易；SuperNode与FullNode组成了私有网络，可以进行网络发现、区块同步、广播交易；部署配置文件参数设置genesis.block.witnesses为超级节点地址列表设置p2p.version为除了11111之外的任意正整数第1个SR设置block.needSyncCheck为false，其他可以设置为true设置block.maintena
2020-09-27 13:37:17
3331
1
原创 trc20-搭建FullNode
准备工作具备至少两个钱包账户的私钥与地址；至少部署一个SuperNode用于出块；部署任意数量的FullNode节点用于同步区块、广播交易；SuperNode与FullNode组成了私有网络，可以进行网络发现、区块同步、广播交易；部署超级节点下载 private_net_config.confhttps://raw.githubusercontent.com/tronprotocol/tron-deployment/master/private_net_config.conf
2020-09-19 19:42:04
7551
5
原创 Spark Shuffle详细解析
Shuffle的核心要点ShuffleMapStage与ResultStage在划分stage时，最后一个stage称为finalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。ShuffleMapStage的结束伴随着shuffle文件的写磁盘。ResultStage基本上对应代码中的action算子，即将一个函数应用在R...
2020-09-17 11:15:14
441
原创 okex合约算法
全仓保证金率=账户权益 /（仓位大小+挂单冻结保证金杠杆）账户权益=客户存入金额+已实现盈亏+未实现盈亏。可用保证金=账户权益-持仓张数面值/(最新标记价格*杠杆)-挂单冻结保证金收益率 = 收益 / 开仓时所需保证金。标记价格标记价格=现货指数价格+基差移动平均值基差移动平均值基差移动平均值=移动平均值（合约中间价 - 现货指数价格）=移动平均值（（合约卖一价 + 合约买一价）／2 - 现货指数价格）未实现盈亏计算多仓：未实现盈亏=面值张数／开仓均价-面值张数／最新标记价格空仓：
2020-09-15 12:20:14
9170
原创 Spark 任务调度机制详解
在工厂环境下，Spark集群的部署方式一般为YARN-Cluster模式，之后的内核分析内容中我们默认集群的部署方式为YARN-Cluster模式。Spark任务提交流程Spark YARN-Cluster模式下的任务提交流程，如下图所示：下面的时序图清晰地说明了一个Spark应用程序从提交到运行的完整流程：提交一个Spark应用程序，首先通过Client向ResourceManage...
2020-09-13 08:09:35
1066
原创 Spark 通讯架构详解
Spark通信架构概述Spark2.x版本使用Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了Akka的中的设计，它是基于Actor模型，如下图所示：Spark通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下：Endpoint（Client/Master...
2020-09-09 08:47:33
818
原创 Spark 部署模式详解
Spark支持3种集群管理器（Cluster Manager），分别为：Standalone：独立模式，Spark原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用Standalone可以很方便地搭建一个集群；Apache Mesos：一个强大的分布式资源管理框架，它允许多种不同的框架部署在其上，包括yarn；Hadoop YARN：统一的...
2020-09-07 08:17:33
287
原创 Spark 详细内核概述
Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理，能够帮助我们更好地完成Spark代码设计，并能够帮助我们准确锁定项目运行过程中出现的问题的症结所在。Spark核心组件回顾DriverSpark驱动器节点，用于执行Spark任务中的main方法，负责实际代码...
2020-09-04 08:17:19
251
原创 SparkStreaming之DStream转换
DStream上的原语与RDD的类似，分为Transformations（转换）和Output Operations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey()、transform()以及各种Window相关的原语。无状态转化操作无状态转化操作就是把简单的RDD转化操作应用到每个批次上，也就是转化DStream中的每一个RDD。部分无状态转化操作...
2020-09-02 08:26:28
479
嵌入式技术之STM32单片机测试程序-stlink驱动-烧写器固件升级-工具-STM32开发板验证流程
2024-09-09
嵌入式技术之STM32单片机stm32 标准库-stm32-hal 离线芯片支持包-调试工具-arm5-compiler
2024-09-09
settings.xml
2020-04-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人