2017年05月_sunhaoning

10月 09月 08月 07月 06月 05月 04月 03月

原创操作系统复习-1.4 操作系统的体系结构

1.4.1 大内核和微内核大内核操作系统的主要功能模块都作为一个紧密联系的整体运行在核心态，从而为应用提供高性能的系统服务。因为各管理模块之间共享信息，能有效利用相互之间的有效特性，所以具有无可比拟的性能优势。为解决操作系统的内核代码难以维护的问题，于是提出了微内核的体系结构。它将内核中最基本的功能（如进程管理等）保留在内核，而将那些不需要在核心态执行的功能移到用户态执行，从而降低

2017-05-20 20:28:21 383

原创操作系统复习-1.3操作系统的运行环境

1.3.1 操作系统的运行机制计算机系统中，通常CPU执行两种不同性质的程序，一种是操作系统内核程序；另一种是用户自编程序或系统外层的应用程序。对操作系统而言，这两者程序的作用不同，前者是后者的管理者，因此“管理程序”要执行一些特权指令，而“被管理程序”出于安全考虑不能执行这些指令。所谓特权指令，是指计算机中不允许用户直接使用的指令，如I/O指令、置中断指令，存取用于内存保护的寄存器、送程

2017-05-20 20:26:39 508

原创操作系统复习-1.2操作系统的发展与分类

1.2.1 手工操作阶段手工操作阶段有两个突出的缺点：1）用户独占全机。不会出现因资源已被其他用户占用而等待的现象，但资源利用率低；2）CPU等待手工操作，CPU的利用不充分。1.2.2 批处理阶段为了解决人机矛盾及CPU和I/O设备之间速度不匹配的矛盾，出现了批处理系统。它按发展历程又分为单道批处理系统、多道批处理系统。1. 单道批处理系统系统对作业的处理是成批进

2017-05-20 20:25:31 728

原创操作系统复习-1.1操作系统的基本概念

1.1.1 操作系统的概念计算机系统自上而下可粗分为四个部分：硬件、操作系统、应用程序和用户。操作系统管理各种计算机硬件，为应用程序提供基础，并充当计算机硬件与用户之间的中介。操作系统是指控制和管理整个计算机系统的硬件和软件资源，并合理地组织调度计算机的工作和资源的分配，以提供给用户和其他软件方便的接口和环境的程序集合。计算机操作系统是随着计算机研究和应用的发展逐步形成并发展起来的

2017-05-10 09:18:00 715

原创 Spark共享变量（Broadcast Variable和Accumulator）

多个task想要共享某个变量，Spark为此提供了两个共享变量，一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变量）。Broadcast Variable会将使用到的变量，仅仅为每个节点拷贝一份，更大的用处是优化性能，减少网络传输以及内存消耗。Accumulator则可以让多个task共同操作一份变量，主要可以进行累加操作。Broadcas

2017-05-05 10:05:25 782

原创图解Spark内核架构

1. 假设现在有一台提交spark应用的机器，自己编写的应用程序在spark中称为Application，通过spark-submit结合shell提交Application。2. 提交之后会在本地客户端启动一个进程叫做Driver，spark-submit使用standalone模式提交，会通过反射的方式，创建和构造一个DriverActor进程。3. Driver进程会先构造Spark

2017-05-01 11:03:09 401