坚持自我

做真实的自己

spark2.2内核剖析---checkpoint与presist

1、checkpoint1、如何调用?2、框架底层给我们做了什么?1、执行的当时做了什么?2、在action的时候做了什么?3、总结2、presist

2017-08-11 11:17:50

阅读数 125

评论数 0

Spark2.2内核剖析

目录1、master启动过程2、worker启动过程3、driver启动过程4、任务提交过程5、总结sprak集群的启动和任务提交6、RDD内部详解7、stage划分算法8、task提交算法9、shuffle机制10、spark缓存机制11、spark存储模块

2017-08-11 11:10:02

阅读数 83

评论数 0

c++设计模式(4)------建造者模式

建造者模式简介1)适合的场景:对于对象的创建很复杂,而且对象的创建过程可以任意组合的情况。 2)举例:建造房子,要建造墙壁、窗户、门;而且假设可以以任何顺序来建造,那么这个的情景就适合建造者模式 3)类图的表示: #include<iostream> #include<std...

2015-12-10 21:31:14

阅读数 79

评论数 0

c++设计模式(3)--------工厂模式

摘要1、什么是工厂模式 也是创建型模式,又称多态工厂模式。意义在于定义一个创建产品的工厂接口,将实际创建工作推迟到工厂子类中。 2、和简单工厂模式的比较例子抽象工厂类和抽象产品类class AbstrctFriut { public: virtual void sayName() = ...

2015-12-07 21:33:55

阅读数 79

评论数 0

c++设计模式(2)--------简单工厂模式

简介简单工厂模式,也叫做静态工厂模式,通过专门定义一个类来负责其他类的创建,被创建的类通常有一个共同的父类。 1)工厂角色:是工厂模式的核心,负责创建实例对象内部的逻辑。可以被外界调用,创建所需要的产品。 2)抽象产品:简单工厂模式所创建产品的父类,负责描述产品的公共接口 ...

2015-12-07 17:16:59

阅读数 83

评论数 0

c++设计模式学习(1)--------单例模式

设计模式基本原则:1)开放封闭原则:对扩展代码开放,对修改代码封闭。 2)依赖倒置原则:依赖于抽象接口,不依赖与具体类。针对接口(抽象类)编程。 3)迪米特法则:一个对象应当尽可能少的了解另一个对象,从而降低各个对象之间的耦合性。 4)优先使用组合而不是继承原则。如果使用继承,那么父类的任何变化都...

2015-12-07 12:35:23

阅读数 87

评论数 0

shell编程实例

常用命令基本文本处理ipc清理脚本

2015-11-29 12:10:27

阅读数 85

评论数 0

五种IO 模型

阻塞IO非阻塞IOIO复用信号驱动IO异步IO

2015-11-29 12:08:19

阅读数 74

评论数 0

服务器/客户端编程范例

传统多进程传统多线程预先派生子进程预先派生子线程

2015-11-29 12:06:02

阅读数 80

评论数 0

Linux ipc 编程以及线程同步

摘要:本文主要介绍管道,ystemv ipc机制,包括消息队列、信号量,共享内存。套接字也是进程间通信的一种机制。只是前面的机制都是在一台主机上的进程间通信。共享内存shmget shmat shmdt shmctl消息队列msgget msgctl msgsnd msgrcv信号量s...

2015-11-28 18:45:00

阅读数 109

评论数 0

Linux 下socket编程总结,注意事项(1)

(一)基本socket api介绍—-TCP协议socket 创建一个通信的端点。返回的是一个文件描述符fd:对于客户端来说,就是通过fd来与服务器来发起通信的,对于服务器来说,这个就是一个监听套接字。 bind 把socket创建的套接字绑定到指定的ip和port,因为so...

2015-11-27 22:10:27

阅读数 117

评论数 0

多进程

一、fork调用 #include SRCS=$(wildcard *.c) OBJS=$(SRCS:.c=.o) CC=gcc CFLAGS=-g -Wall my_app:$(OBJS) $(CC) $^ -o $@ %.o:%.c $(CC) -...

2015-05-22 02:33:15

阅读数 114

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭