- 博客(5)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 大数据：Spark Standalone 集群调度（二）如何创建、分配Executors的资源
Standalone 的整体架构在Spark集群中的3个角色Client, Master, Worker, 下面的图是Client Submit 一个任务的流程图：完整的流程：Driver 提交任务给Master, 由Master节点根据任务的参数对进行Worker的Executor的分配，Worker节点获取到具体的分配信息启动executor 的子进程Master分
2017-03-29 17:37:33
5065
5
原创 大数据：Spark Storage（二） 集群下的broadcast
Spark BroadCastBroadcast 简单来说就是将数据从一个节点复制到其他各个节点，常见用于数据复制到节点本地用于计算，在前面一章中讨论过Storage模块中BlockManager，Block既可以保存在内存中，也可以保存在磁盘中，当Executor节点本地没有数据，通过Driver去获取数据Spark的官方描述：A broadcast variable. Broadc
2017-03-21 17:28:21
4420
原创 大数据：Spark Storage（一） 集群下的区块管理
Storage模块在Spark中提及最多的是RDD，而RDD所交互的数据是通过Storage来实现和管理Storage模块整体架构1. 存储层在Spark里，单机storage的管理是通过block来管理的，用每个块的存储可以在内存里或者在磁盘中，在BlockManager里既可以管理内存的存储，同时也管理硬盘的存储，存储的标识是通过块的ID来区分的。
2017-03-21 09:26:48
6064
1
原创 大数据：Spark Standalone 集群调度（一）从远程调试开始说application创建
远程debug，特别是在集群方式时候，会很方便了解代码的运行方式，这也是码农比较喜欢的方式虽然scala的语法和java不一样，但是scala是运行在JVM虚拟机上的，也就是scala最后编译成字节码运行在JVM上，那么远程调试方式就是JVM调试方式在服务器端：-Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=7001
2017-03-09 17:41:55
5203
原创 Struts2远程命令执行漏洞 S2-045 源码分析
Struts2 又爆OGNL的高危漏洞S-045，又是OGNL的漏洞漏洞分析1. Struts 的上传request在上传文件里，Struts默认使用的是common upload 的上传组件， 为了能被action访问到上传的文件，通常会重新封装request, Spring也是这么做。JakartaStreamMultiPartRequest.java中 public void parse(...
2017-03-08 02:04:34
9297
3
jdk1.6.23 libsaproc.so linux 下amd64架构
2012-02-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人