- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark学习笔记（一）：Spark简介和RDD
前言：这是Spark理论的学习笔记，代码和操作极少，请自行熟悉代码。这篇幅会越来越长，并且不断深入，没什么意外的话笔者会在空闲时候慢慢进行更新。如果有错误的地方，请大佬指出让我改进，感激不尽！1.Spark概述1.1简介Spark是一种快速、通用、可扩展的大数据分析引擎，是基于内存计算的大数据分布式计算框架。基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸...
2018-09-30 02:06:39
306
原创 spark基于akka一个任务通讯的简单流程
本文介绍spark通讯的简单流程，通过本文也可以了解简单的spark任务执行流程 1.Master 启动成功后(开启线程定时检查Worker存活与否) ，启动Worker，这时候Worker与Master间进行通讯。通讯内容：向Master注册信息(包含一些自己电脑的配置情况，方便Master后续分配任务)之后向 Master定时发送心跳包 用以报活。2.当用户提交任务时，机器会启...
2018-09-29 17:14:25
435
原创 浅谈Storm原理(新手向)
前言：storm作为流式实时计算的代表之一，它的地位对于流式计算相当于hadoop在离线计算中一般。抛开编码过程，本文就来聊聊storm的构造和工作原理。一.Storm的核心组件Nimbus：负责资源分配和任务调度。(充当集群中master的角色)。Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。(充当slave角色)---可以通...
2018-09-04 21:13:39
471
原创 超简单读懂mapreduce的工作过程
Tip:本文适合编写过mapreduce程序，但不知道它工作原理的朋友阅读，它会让你在很短时间内了解整个过程。本文分为map端 和reduce端两张图讲解，请放大图片来看。一.Map task1.由程序内的InputFormat(默认实现类TextInputFormat)来读取外部数据，它会调用RecordReader(它的成员变量)的read()方法来读取，返回k,v键值对。...
2018-09-04 00:25:27
10215
原创 Jvm的简单认识(适合入门者和初学者)
Tip: jvm是一个庞大的知识体系，其中与开发比较有关联的是内存部分，所以本篇着重介绍内存部分，实践部分极少所以本篇适合初学者或者入门者，用于理解各种知识点和面试时候可以叨一叨一.结构1.方法区(永久区):方法区和堆类似，是各个线程共享的内存区域，它用于存储类信息，常量，静态变量，即时编译器编译后的代码(项目发布jsp等会被解析成java代码，大量内容会进进出出，就有可能出现...
2018-09-03 21:38:17
3286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人