Wangqk1021-CSDN博客

转载利用docker搭建spark hadoop workbench

目的用docker实现所有服务在spark-notebook中编写Scala代码,实时提交到spark集群中运行在HDFS中存储数据文件,spark-notebook中直接读取组件Spark (Standalone模式, 1个master节点 + 可扩展的worker节点)Spark-notebookHadoop name nodeHadoop...

2017-11-29 10:51:00 205

转载《用Java写一个通用的服务器程序》03 处理新socket

在讲监听器时说过处理的新的socket要尽快返回，监听器调用的是ClientFactory的createPhysicalConnection方法，那么就来看这个方法： public boolean createPhysicalConnection(PushClientSocket socket, boolean isObserver, Listen...

2014-10-30 16:58:00 124

转载《用Java写一个通用的服务器程序》02 监听器

在一个服务器程序中，监听器的作用类似于公司前台，起引导作用，因此监听器花在每个新连接上的时间应该尽可能短，这样才能保证最快响应。回到编程本身来说：1. 监听器最好由单独的线程运行2. 监听器在接到新的连接之后，处理连接的方法需要尽快返回在Java Push Framework中，因为需要同时监听普通客户端和服务器监视服务的客户端，所以定义两种监听器：Acceptor...

2014-10-29 15:06:00 133

转载《用Java写一个通用的服务器程序》01 综述

最近一两年用C++写了好几个基于TCP通信类型程序，都是写一个小型的服务器，监听请求，解析自定义的协议，处理请求，返回结果。每次写新程序时都把老代码拿来，修改一下协议解析部分和业务处理部分，然后就一个新的程序就诞生了。如此这般做了几回，就萌生了一个想法：是不是可以做一个通用的服务器程序，每次只要实现很少的代码就可以构建的一个新的服务器程序？巧的是在用C++写代码的时候，我刚好碰...

2014-10-28 15:35:00 131

转载《Java并发编程》之线程中断与终止线程运行

Java中启动一个线程很容易，通常情况下我们都是等到任务运行结束后让线程自行停止。但有时需要在任务正在运行时取消他们，使得线程快速结束。对此Java并没有提供任何机制。但是我们可以通过Java提供的线程中断机制来实现。首先来看Thread类三个和中断有关的方法：public class Thread { // 发出一个中断请求，把标志位设定为中断状态，不会终止...

2014-09-28 13:53:00 126

转载《java.util.concurrent 包源码阅读》结束语

《java.util.concurrent 包源码阅读》系列文章已经全部写完了。开始的几篇文章是根据自己的读书笔记整理出来的（当时只阅读了部分的源代码），后面的大部分都是一边读源代码，一边写文章。由于水平有限，在阅读源代码的时候，分析得也比较浅显，还有很多地方自己也没有研究明白，有的地方显得语焉不详，只能请各位多多见谅了。后面会继续写一些关于Java并发编程的文章，希望各位多多指...

2014-09-25 10:36:00 117

转载《java.util.concurrent 包源码阅读》28 Phaser 第二部分

这一部分来分析Phaser关于线程等待的实现。所谓线程等待Phaser的当前phase结束并转到下一个phase的过程。Phaser提供了三个方法：// 不可中断，没有超时的版本public int awaitAdvance(int phase);// 可以中断，没有超时的版本public int awaitAdvanceInterruptibly(int pha...

2014-09-23 16:13:00 122

转载《java.util.concurrent 包源码阅读》27 Phaser 第一部分

Phaser是JDK7新添加的线程同步辅助类，作用同CyclicBarrier，CountDownLatch类似，但是使用起来更加灵活：1. Parties是动态的。2. Phaser支持树状结构，即Phaser可以有一个父Phaser。Phaser的构造函数涉及到两个参数：父Phaser和初始的parties，因此提供了4个构造函数：public Phaser...

2014-09-22 16:24:00 118

转载《java.util.concurrent 包源码阅读》26 Fork/Join框架之Join

接下来看看调用ForkJoinTask的join方法都发生了什么： public final V join() { // doJoin方法返回该任务的状态，状态值有三种： // NORMAL, CANCELLED和EXCEPTIONAL // join的等待过程在doJoin方法中进行 if (doJo...

2014-09-19 14:53:00 80

转载《java.util.concurrent 包源码阅读》25 Fork/Join框架之Fork与Work-Stealing（重写23，24）...

在写前面两篇文章23和24的时候自己有很多细节搞得不是很明白，这篇文章把Fork和Work-Stealing相关的源代码重新梳理一下。首先来看一些线程池定义的成员变量：关于scanGuard：volatile int scanGuard;private static final int SG_UNIT = 1 << 16;private sta...

2014-09-17 17:00:00 118

转载《java.util.concurrent 包源码阅读》24 Fork/Join框架之Work-Stealing

仔细看了Doug Lea的那篇文章：A Java Fork/Join Framework 中关于Work-Stealing的部分，下面列出该算法的要点（基本是原文的翻译）：1. 每个Worker线程都维护一个任务队列，即ForkJoinWorkerThread中的任务队列。2. 任务队列是双向队列，这样可以同时实现LIFO和FIFO。3. 子任务会被加入到原先任务所在Work...

2014-09-04 21:36:00 152

转载《java.util.concurrent 包源码阅读》23 Fork/Join框架之Fork的冰山一角

上篇文章一直追踪到了ForkJoinWorkerThread的pushTask方法，仍然没有办法解释Fork的原理，那么不妨来看看ForkJoinWorkerThread的run方法： public void run() { Throwable exception = null; try { // 初始化任务队列...

2014-09-03 17:37:00 115

转载《java.util.concurrent 包源码阅读》22 Fork/Join框架的初体验

JDK7引入了Fork/Join框架，所谓Fork/Join框架，个人解释：Fork分解任务成独立的子任务，用多线程去执行这些子任务，Join合并子任务的结果。这样就能使用多线程的方式来执行一个任务。JDK7引入的Fork/Join有三个核心类：ForkJoinPool，执行任务的线程池ForkJoinWorkerThread，执行任务的工作线程ForkJoinTa...

2014-09-02 21:13:00 80

转载《java.util.concurrent 包源码阅读》21 CyclicBarrier和CountDownLatch

CyclicBarrier是一个用于线程同步的辅助类，它允许一组线程等待彼此，直到所有线程都到达集合点，然后执行某个设定的任务。现实中有个很好的例子来形容：几个人约定了某个地方集中，然后一起出发去旅行。每个参与的人就是一个线程，CyclicBarrier就是那个集合点，所有人到了之后，就一起出发。CyclicBarrier的构造函数有两个：// parties是参与等待的...

2014-09-01 14:28:00 82

转载《java.util.concurrent 包源码阅读》20 DelayQueue

DelayQueue有序存储Delayed类型或者子类型的对象，没当从队列中取走元素时，需要等待延迟耗完才会返回该对象。所谓Delayed类型，因为需要比较，所以继承了Comparable接口：public interface Delayed extends Comparable<Delayed> { long getDelay(TimeUnit uni...

2014-08-29 14:36:00 71

转载《java.util.concurrent 包源码阅读》19 PriorityBlockingQueue

前面讲ScheduledThreadPoolExecutor曾经重点讲到了DelayedWorkQueue，这里说的PriorityBlockingQueue其实是DelayedWorkQueue的简化版本，实现了按序排列元素的功能。也就是说PriorityBlockingQueue是维护一个按序排列的队列，排序的方法可以通过指定Comparator来比较元素的大小，或者元素类型本身实现...

2014-08-28 10:06:00 113

转载《java.util.concurrent 包源码阅读》18 Exchanger

Exchanger可以看做双向数据传输的SynchronousQueue，即没有生产者和消费者之分，任意两个线程都可以交换数据。在JDK5中Exchanger被设计成一个容量为1的容器，存放一个等待线程，直到有另外线程到来就会发生数据交换，然后清空容器，等到下一个到来的线程。从JDK6开始，Exchanger用了类似ConcurrentMap的分段思想，提供了多个slot，增加了...

2014-08-27 22:23:00 127

转载《java.util.concurrent 包源码阅读》17 信号量 Semaphore

学过操作系统的朋友都知道信号量，在java.util.concurrent包中也有一个关于信号量的实现：Semaphore。从代码实现的角度来说，信号量与锁很类似，可以看成是一个有限的共享锁，即只能被有限数量的线程使用的共享锁。因为存在计数，因此Semaphore的构造函数有参数permits来设定计数： public Semaphore(int permit...

2014-08-26 16:07:00 67

转载《java.util.concurrent 包源码阅读》16 一种特别的BlockingQueue：SynchronousQueue

SynchronousQueue是一种很特别的BlockingQueue，任何一个添加元素的操作都必须等到另外一个线程拿走元素才会结束。也就是SynchronousQueue本身不会存储任何元素，相当于生产者和消费者手递手直接交易。SynchronousQueue有一个fair选项，如果fair为true，称为fair模式，否则就是unfair模式。在fair模式下，所有等待的生...

2014-08-25 15:21:00 75

转载《java.util.concurrent 包源码阅读》15 线程池系列之ScheduledThreadPoolExecutor 第二部分...

这篇文章主要说说DelayedWorkQueue。在ScheduledThreadPoolExecutor使用DelayedWorkQueue来存放要执行的任务，因为这些任务是带有延迟的，而每次执行都是取第一个任务执行，因此在DelayedWorkQueue中任务必然按照延迟时间从短到长来进行排序的。DelayedWorkQueue使用堆来实现的。和以前分析BlockingQ...

2014-08-22 16:44:00 134

转载《java.util.concurrent 包源码阅读》14 线程池系列之ScheduledThreadPoolExecutor 第一部分...

ScheduledThreadPoolExecutor是ThreadPoolExecutor的子类，同时实现了ScheduledExecutorService接口。public class ScheduledThreadPoolExecutor extends ThreadPoolExecutor implements ScheduledExe...

2014-08-21 11:17:00 193

转载《java.util.concurrent 包源码阅读》13 线程池系列之ThreadPoolExecutor 第三部分

这一部分来说说线程池如何进行状态控制，即线程池的开启和关闭。先来说说线程池的开启，这部分来看ThreadPoolExecutor构造方法： public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, ...

2014-08-20 21:25:00 86

转载《java.util.concurrent 包源码阅读》12 线程池系列之ThreadPoolExecutor 第二部分

接着说worker线程是如何工作的。ThreadPoolExecutor有一个成员类叫Worker，所起到的作用就是线程池worker线程的作用。private final class Worker extends AbstractQueuedSynchronizer implements Runnable这里AbstractQueuedSynchronizer的作用是使...

2014-08-15 10:04:00 77

转载《java.util.concurrent 包源码阅读》11 线程池系列之ThreadPoolExecutor 第一部分

先来看ThreadPoolExecutor的execute方法，这个方法能体现出一个Task被加入到线程池之后都发生了什么： public void execute(Runnable command) { if (command == null) throw new NullPointerException(); ...

2014-08-14 10:46:00 127

转载《java.util.concurrent 包源码阅读》10 线程池系列之AbstractExecutorService

AbstractExecutorService对ExecutorService的执行任务类型的方法提供了一个默认实现。这些方法包括submit，invokeAny和InvokeAll。注意的是来自Executor接口的execute方法是未被实现，execute方法是整个体系的核心，所有的任务都是在这个方法里被真正执行的，因此该方法的不同实现会带来不同的执行策略。这个在后面分析Thr...

2014-08-13 16:25:00 122

转载《java.util.concurrent 包源码阅读》09 线程池系列之介绍篇

concurrent包中Executor接口的主要类的关系图如下：Executor接口非常单一，就是执行一个Runnable的命令。public interface Executor { void execute(Runnable command);}ExecutorService接口扩展了Executor接口，增加状态控制，执行多个任务返回Futu...

2014-08-13 14:34:00 81

转载《java.util.concurrent 包源码阅读》08 CopyOnWriteArrayList和CopyOnWriteArraySet

CopyOnWriteArrayList和CopyOnWriteArraySet从数据结构类型上来说是类似的，都是用数组实现的保存一组数据的数据结构，区别也简单就是List和set的区别。因此这里就先讨论CopyOnWriteArrayList，然后再说CopyOnWriteArraySet。这里重点关注的是CopyOnWrite，从字面上很容易理解，每当写操作的时候复制存储数据的数...

2014-08-12 14:36:00 98

转载《java.util.concurrent 包源码阅读》07 LinkedBlockingQueue

这篇文章来说说稍微复杂一些的LinkedBlockingQueue。LinkedBlockingQueue使用一个链表来实现，会有一个head和tail分别指向队列的开始和队列的结尾。因此LinkedBlockingQueue会有两把锁，分别控制这两个元素，这样在添加元素和拿走元素的时候就不会有锁的冲突，因此取走元素操作的是head，而添加元素操作的是tail。老规矩先看offer方...

2014-08-11 14:10:00 102

转载《java.util.concurrent 包源码阅读》06 ArrayBlockingQueue

对于BlockingQueue的具体实现，主要关注的有两点：线程安全的实现和阻塞操作的实现。所以分析ArrayBlockingQueue也是基于这两点。对于线程安全来说，所有的添加元素的方法和拿走元素的方法都会涉及到，我们通过分析offer方法和poll()方法就能看出线程安全是如何实现的。首先来看offer方法 public boolean offer(E e) ...

2014-08-10 18:45:00 64

转载《java.util.concurrent 包源码阅读》05 BlockingQueue

想必大家都很熟悉生产者-消费者队列，生产者负责添加元素到队列，如果队列已满则会进入阻塞状态直到有消费者拿走元素。相反，消费者负责从队列中拿走元素，如果队列为空则会进入阻塞状态直到有生产者添加元素到队列。BlockingQueue就是这么一个生产者-消费者队列。BlockingQueue是Queue的子接口public interface BlockingQueue&lt...

2014-08-09 15:49:00 106

转载《java.util.concurrent 包源码阅读》04 ConcurrentMap

Java集合框架中的Map类型的数据结构是非线程安全，在多线程环境中使用时需要手动进行线程同步。因此在java.util.concurrent包中提供了一个线程安全版本的Map类型数据结构：ConcurrentMap。本篇文章主要关注ConcurrentMap接口以及它的Hash版本的实现ConcurrentHashMap。ConcurrentMap是Map接口的子接口pub...

2014-08-08 14:55:00 170

转载《java.util.concurrent 包源码阅读》03 锁

Condition接口应用场景：一个线程因为某个condition不满足被挂起，直到该Condition被满足了。类似与Object的wait/notify，因此Condition对象应该是被多线程共享的，需要使用锁保护其状态的一致性示例代码:class BoundedBuffer { final Lock lock = new Reentran...

2014-07-10 15:42:00 127

转载《java.util.concurrent 包源码阅读》02 关于java.util.concurrent.atomic包

Aomic数据类型有四种类型：AomicBoolean,AomicInteger,AomicLong, 和AomicReferrence(针对Object的)以及它们的数组类型，还有一个特殊的AomicStampedReferrence,它不是AomicReferrence的子类，而是利用AomicReferrence实现的一个储存引用和Integer组的扩展类首先，所...

2014-07-10 15:27:00 98

转载 uclibc下使用libcurl的段错误(缺少hosts文件)

最近要在某个嵌入式Linux下使用libcurl这个库，该Linux的标准C库是uclibc，程序执行到curl_easy_perform总是会出现段错误。使用gdb调试之后发现是uclibc使用gethostbyaddr_r的时候会假设hosts文件存在(/etc/hosts或者/etc/config/hosts)，但是恰好我们的Linux没有这个文件，这就导致无限循环（而且每...

2013-06-07 16:40:00 257

转载《java.util.concurrent 包源码阅读》01 源码包的结构

准备花点时间阅读一下java.util.concurrent这个包里面的java代码，大致看了一下，这个包我个人觉得大致可以分为五个部分（如有不对之处，还望指正）第一部分 Aomic数据类型这部分都被放在java.util.concurrent.atomic这个包里面，实现了原子化操作的数据类型，包括 Boolean, Integer, Long, 和Referrence这...

2012-12-14 16:42:00 120

Wangqk1021的博客