对 volatile 关键字的理解

对 volatile 关键字的理解

volatile这个关键字在Java 5之前,是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果;在Java 5之后,volatile关键字才逐渐被使用的频繁起来;

由于volatile关键字是与Java的内存模型有关的,因此需要先了解一下与内存模型相关的内容,才能分析 volatile关键字的实现原理,以及给出对volatile关键字使用的场景;

内存模型的相关概念

计算机在执行程序时,每条指令都是在CPU中执行的,而执行指令过程中,必然涉及到数据的读取和写入;由于程序运行过程中的临时数据是存放在主存(物理内存)当中的,这时就存在一个问题,由于CPU执行速度很快,而从内存读取数据和向内存写入数据的过程跟CPU执行指令的速度比起来要慢的多,因此如果任何时候对数据的操作都要通过和内存的交互来进行,会大大降低指令执行的速度;因此在CPU里面就有了高速缓存;

也就是,当程序在运行过程中,会将运算需要的数据从主存复制一份到CPU的高速缓存当中,那么CPU进行计算时就可以直接从它的高速缓存中读取数据和向其中写入数据,当运算结束之后,再将高速缓存中的数据刷新到主存当中;例如;

i = i + 1;

当线程执行这个语句时,会先从主存当中读取i的值,然后复制一份到高速缓存当中,然后CPU执行指令对i进行加1操作,然后将数据写入高速缓存,最后将高速缓存中i最新的值刷新到主存当中;

这个代码在单线程中运行是没有任何问题的,但是在多线程中运行就会有问题了;在多核CPU中,每条线程可能运行于不同的CPU中,因此每个线程运行时有自己的高速缓存(对单核CPU来说,其实也会出现这种问题,只不过是以线程调度的形式来分别执行的);

比如,同时有2个线程执行这段代码,假如初始时i的值为0,那么希望两个线程执行完之后i的值变为2;但是事实并不是如此,可能存在下面一种情况,初始时,两个线程分别读取i的值存入各自所在的CPU的高速缓存当中,然后线程1进行加1操作,然后把i的最新值1写入到内存,此时线程2的高速缓存当中i的值还是0,进行加1操作之后,i的值为1,然后线程2i的值写入内存;

最终结果i的值是1,而不是2;这就是著名的缓存一致性问题;通常称这种被多个线程访问的变量为共享变量

也就是说,如果一个变量在多个CPU中都存在缓存(一般在多线程编程时才会出现),那么就可能存在缓存不一致的问题

为了解决缓存不一致性问题,通常来说有以下2种解决方法;

  1. 通过在总线加LOCK#锁的方式;

  2. 通过缓存一致性协议;

2种方式都是硬件层面上提供的方式;

在早期的CPU中,是通过在总线上加LOCK#锁的形式来解决缓存不一致的问题;因为CPU和其他部件进行通信都是通过总线来进行的,如果对总线加LOCK#锁的话,也就是说阻塞了其他CPU对其他部件访问(如内存),从而使得只能有一个CPU能使用这个变量的内存;比如上面例子中,如果一个线程在执行i = i +1,如果在执行这段代码的过程中,在总线上发出了LCOK#锁的信号,那么只有等待这段代码完全执行完毕之后,其他CPU才能从变量i所在的内存读取变量,然后进行相应的操作,这样就解决了缓存不一致的问题;

但是上面的方式会有一个问题,由于在锁住总线期间,其他CPU无法访问内存,导致效率低下;

所以出现了缓存一致性协议;最出名的就是IntelMESI协议,MESI协议保证了每个缓存中使用的共享变量的副本是一致的;其核心的思想是,CPU写数据时,如果发现操作的变量是共享变量,即在其他CPU中也存在该变量的副本,会发出信号通知其他CPU将该变量的缓存行置为无效状态,因此当其他CPU需要读取这个变量时,发现自己缓存中缓存该变量的缓存行是无效的,那么它就会从内存重新读取
在这里插入图片描述

并发编程中的三个概念

在并发编程中,通常会遇到以下三个问题,原子性问题,可见性问题,有序性问题

原子性

原子性,即一个操作或者多个操作,要么全部执行并且执行的过程不会被任何因素打断,要么就都不执行;

例如银行账户转账问题,比如从账户A向账户B1000元,那么必然包括2个操作,从账户A减去1000元,往账户B加上1000元;如果这2个操作不具备原子性,那么假如从账户A减去1000元之后,操作突然中止;这样就会导致账户A虽然减去了1000元,但是账户B没有收到这个转过来的1000元;

所以这2个操作必须要具备原子性才能保证不出现一些意外的问题;

同样在并发编程中;例如,假如为一个32位的变量赋值过程不具备原子性的话;

i = 9;

暂且假设为一个32位的变量赋值包括两个过程,为低16位赋值,为高16位赋值;

那么就可能发生一种情况,当一个线程执行到这个语句,将低16位数值写入之后,突然被中断,而此时又有一个线程去读取i的值,那么读取到的就是错误的数据;

可见性

可见性是指当多个线程访问同一个变量时,一个线程修改了这个变量的值,其他线程能够立即看得到修改的值;例如,如下代码;

// 线程1执行的代码
int i = 0;
i = 10;
 
// 线程2执行的代码
j = i;

假若执行线程1的是CPU1,执行线程2的是CPU2;由上面的分析可知,当线程1执行i =10这句时,会先把i的初始值加载到CPU1的高速缓存中,然后赋值为10,那么在CPU1的高速缓存当中i的值变为10了,却没有立即写入到主存当中;

此时线程2执行j = i,它会先去主存读取i的值并加载到CPU2的缓存当中,注意此时内存当中i的值还是0,那么就会使得j的值为0,而不是10

这就是可见性问题,线程1对变量i修改了之后,线程2没有立即看到线程1修改的值;

有序性

有序性,即程序执行的顺序按照代码的先后顺序执行;例如,如下代码;

int i = 0;              
boolean flag = false;
i = 1;                // 语句1  
flag = true;          // 语句2

上面代码定义了一个int型变量,定义了一个boolean类型变量,然后分别对两个变量进行赋值操作;从代码顺序上看,语句1是在语句2前面的,但是JVM在真正执行这段代码的时候不一定会保证语句1一定会在语句2前面执行,因为这里可能会发生指令重排序(Instruction Reorder

指令重排序是指,一般来说,处理器为了提高程序运行效率,可能会对输入代码进行优化,它不保证程序中各个语句的执行先后顺序同代码中的顺序一致,但是它会保证程序最终执行结果和代码顺序执行的结果是一致的;

比如上面的代码中,语句1和语句2谁先执行对最终的程序结果并没有影响,那么就有可能在执行过程中,语句2先执行而语句1后执行;

虽然处理器会对指令进行重排序,但是它会保证程序最终结果会和代码顺序执行结果相同,例如;

int a = 10;    // 语句1
int r = 2;    // 语句2
a = a + 3;    // 语句3
r = a*a;     // 语句4

这段代码有4个语句,那么可能的一个执行顺序是;
在这里插入图片描述

假设这个执行顺序也存在可能是,语句2 -> 语句1 -> 语句4 -> 语句3

但是这个假设是不成立的,因为处理器在进行重排序时是会考虑指令之间的数据依赖性,如果一个指令Instruction 2必须用到Instruction 1的结果,那么处理器会保证Instruction 1会在Instruction 2之前执行;

虽然重排序不会影响单个线程内程序执行的结果,但是多线程则会存在影响;例如;

//线程1:
context = loadContext();   //语句1
inited = true;             //语句2
 
//线程2:
while(!inited ){
  sleep()
}
doSomethingwithconfig(context);

上面代码中,由于语句1和语句2没有数据依赖性,因此可能会被重排序;假如发生了重排序,在线程1执行过程中先执行语句2,而此时线程2会以为初始化工作已经完成,那么就会跳出while循环,去执行doSomethingwithconfig(context)方法,而此时context并没有被初始化,就会导致程序出错;

从上面可以看出,指令重排序不会影响单个线程的执行,但是会影响到线程并发执行的正确性;

也就是说,要想并发程序正确地执行,必须要保证原子性、可见性以及有序性;只要有一个没有被保证,就有可能会导致程序运行不正确;

Java内存模型

Java虚拟机规范中试图定义一种Java 内存模型(Java Memory ModelJMM来屏蔽各个硬件平台和操作系统的内存访问差异,以实现让Java程序在各种平台下都能达到一致的内存访问效果;Java内存模型规定了程序中变量的访问规则,往大一点说是定义了程序执行的次序;注意,为了获得较好的执行性能,Java内存模型并没有限制执行引擎使用处理器的寄存器或者高速缓存来提升指令执行速度,也没有限制编译器对指令进行重排序;也就是说,在Java内存模型中,也会存在缓存一致性问题和指令重排序的问题;

Java内存模型规定所有的变量都是存在主存当中(类似于前面说的物理内存),每个线程都有自己的工作内存(类似于前面的高速缓存);线程对变量的所有操作都必须在工作内存中进行,而不能直接对主存进行操作;并且每个线程不能访问其他线程的工作内存;

例如,在 Java中,执行下面这个语句;

i = 10;

执行线程必须先在自己的工作线程中对变量i所在的缓存行进行赋值操作,然后再写入主存当中;而不是直接将数值10写入主存当中;

那么Java语言本身对原子性、可见性以及有序性也提供了一些保证;

原子性

Java中,对基本数据类型的变量的读取和赋值操作是原子性操作,即这些操作是不可被中断的,要么执行,要么不执行;例如,对以下操作分析是否是原子性操作;

x = 10;         // 语句1
y = x;         // 语句2
x++;           // 语句3
x = x + 1;     // 语句4

这四句中,只有语句1是原子性操作,其他三个语句都不是原子性操作;

语句1是直接将数值10赋值给x,也就是说线程执行这个语句的会直接将数值10写入到工作内存中;

语句2实际上包含2个操作,它先要去读取x的值,再将x的值写入工作内存,虽然读取x的值以及将x的值写入工作内存这2个操作都是原子性操作,但是合起来就不是原子性操作了;

同样的,x++x = x+1包括3个操作,读取x的值,进行加1操作,写入新的值;

所以上面4个语句只有语句1的操作具备原子性;

也就是说,只有简单的读取、赋值(而且必须是将数字赋值给某个变量,变量之间的相互赋值不是原子操作)才是原子操作

不过有一点需要注意,在32位平台下,对64位数据的读取和赋值是需要通过两个操作来完成的,不能保证其原子性;但是好像在最新的JDK中,JVM已经保证对64位数据的读取和赋值也是原子性操作了;

从上面可以看出,Java内存模型只保证了基本读取和赋值是原子性操作,如果要实现更大范围操作的原子性,可以通过synchronizedLock来实现;由于synchronizedLock能够保证任一时刻只有一个线程执行该代码块,那么自然就不存在原子性问题了,从而保证了原子性;

可见性

对于可见性,Java提供了volatile关键字来保证可见性;

当一个共享变量被volatile修饰时,它会保证修改的值会立即被更新到主存,当有其他线程需要读取时,它会去内存中读取新值;

而普通的共享变量不能保证可见性,因为普通共享变量被修改之后,什么时候被写入主存是不确定的,当其他线程去读取时,此时内存中可能还是原来的旧值,因此无法保证可见性;

另外,通过synchronizedLock也能够保证可见性,synchronizedLock能保证同一时刻只有一个线程获取锁然后执行同步代码,并且在释放锁之前会将对变量的修改刷新到主存当中,因此可以保证可见性;

有序性

Java内存模型中,允许编译器和处理器对指令进行重排序,但是重排序过程不会影响到单线程程序的执行,却会影响到多线程并发执行的正确性;

Java里面,可以通过volatile关键字来保证一定的有序性;另外可以通过synchronizedLock来保证有序性,很显然,synchronizedLock保证每个时刻是有一个线程执行同步代码,相当于是让线程顺序执行同步代码,自然就保证了有序性;

另外,Java内存模型具备一些先天的有序性,即不需要通过任何手段就能够得到保证的有序性,这个通常也称为happens-before原则;如果两个操作的执行次序无法从happens-before原则推导出来,那么它们就不能保证它们的有序性,虚拟机可以随意地对它们进行重排序;

happens-before原则

happens-before原则(先行发生原则)具体内容如下;

  1. 程序次序规则,一个线程内,按照代码顺序,书写在前面的操作先行发生于书写在后面的操作;
  2. 锁定规则,一个unLock操作先行发生于后面对同一个锁的lock操作;
  3. volatile变量规则,对一个变量的写操作先行发生于后面对这个变量的读操作;
  4. 传递规则,如果操作A先行发生于操作B,而操作B又先行发生于操作C,则得出操作A先行发生于操作C
  5. 线程启动规则,Thread对象的start()方法先行发生于此线程的每一个动作;
  6. 线程中断规则,对线程interrupt()方法的调用先行发生于被中断线程的代码检测到中断事件的发生;
  7. 线程终结规则,线程中所有的操作都先行发生于线程的终止检测,可以通过Thread.join()方法结束,Thread.isAlive()的返回值手段检测到线程已经终止执行;
  8. 对象终结规则,一个对象的初始化完成先行发生于他的finalize()方法的开始;

8条规则中,前4条规则是比较重要的,后4条规则都是显而易见的;

重点是前4条规则,对于程序次序规则来说,可以理解就是一段程序代码的执行在单个线程中看起来是有序的;注意,虽然这条规则中提到书写在前面的操作先行发生于书写在后面的操作,这个应该是程序看起来执行的顺序是按照代码顺序执行的,因为虚拟机可能会对程序代码进行指令重排序;虽然进行重排序,但是最终执行的结果是与程序顺序执行的结果一致的,它只会对不存在数据依赖性的指令进行重排序;因此,在单个线程中,程序执行看起来是有序执行的,这一点需要注意理解;事实上,这个规则是用来保证程序在单线程中执行结果的正确性,但无法保证程序在多线程中执行的正确性;

第二条规则可以理解为,无论在单线程中还是多线程中,同一个锁如果处于被锁定的状态,那么必须先对锁进行了释放操作,后面才能继续进行lock操作;

第三条规则是一条比较重要的规则,直观地解释就是,如果一个线程先去写一个变量,然后一个线程去进行读取,那么写入操作肯定会先行发生于读操作;

第四条规则实际上就是体现happens-before原则具备传递性;

深入剖析volatile关键字

volatile关键字的两层语义

一旦一个共享变量(类的成员变量、类的静态成员变量)被volatile修饰之后,那么就具备了两层语义

  1. 保证了不同线程对这个变量进行操作时的可见性,即一个线程修改了某个变量的值,这新值对其他线程来说是立即可见的;
  2. 禁止进行指令重排序;

例如,假设线程1先执行,线程2后执行;

// 线程1
boolean stop = false;
while(!stop){
    doSomething();
}
 
// 线程2
stop = true;

这段代码是很典型的一段代码,很多人在中断线程时可能都会采用这种标记办法;但是事实上,这段代码不一定会完全运行正确,也不一定会将线程中断;当然在大多数时候,这个代码能够把线程中断,但是也有可能会导致无法中断线程(虽然这个可能性很小,但是只要一旦发生这种情况就会造成死循环了);

每个线程在运行过程中都有自己的工作内存,那么线程1在运行的时候,会将stop变量的值拷贝一份放在自己的工作内存当中;

那么当线程2更改了stop变量的值之后,但是还没来得及写入主存当中,线程2转去做其他事情了,那么线程1由于不知道线程2stop变量的更改,因此还会一直循环下去;

但是用volatile修饰之后就变得不一样了;

  1. 使用volatile关键字会强制将修改的值立即写入主存;
  2. 使用volatile关键字的话,当线程2进行修改时,会导致线程1的工作内存中缓存变量stop的缓存行无效(反映到硬件层的话,就是CPUL1或者L2缓存中对应的缓存行无效);
  3. 由于线程1的工作内存中缓存变量stop的缓存行无效,所以线程1再次读取变量stop的值时会去主存读取;

那么在线程2修改stop值时(当然这里包括2个操作,修改线程2工作内存中的值,然后将修改后的值写入内存),会使得线程1的工作内存中缓存变量stop的缓存行无效,然后线程1读取时,发现自己的缓存行无效,它会等待缓存行对应的主存地址被更新之后,然后去对应的主存读取最新的值;那么线程1读取到的就是最新的正确的值;

volatile与原子性

从上面知道volatile关键字保证了操作的可见性,但是volatile对变量的操作是否是原子性还需要验证;

public class Test {
    public volatile int inc = 0;
     
    public void increase() {
        inc++;
    }
     
    public static void main(String[] args) {
        final Test test = new Test();
        for(int i=0;i<10;i++){
            new Thread(){
                public void run() {
                    for(int j=0;j<1000;j++)
                        test.increase();
                };
            }.start();
        }
         
        while(Thread.activeCount()>1)  // 保证前面的线程都执行完
            Thread.yield();
        System.out.println(test.inc);
    }
}

这段程序的输出结果可能会被认为是10000;但是事实上运行后,会发现每次运行结果都不一致,都是一个小于10000的数字;

表面看代码,上面是对变量inc进行自增操作,由于volatile保证了可见性,那么在每个线程中对inc自增完之后,在其他线程中都能看到修改后的值,所以有10个线程分别进行了 1000 次操作,那么最终inc的值应该是1000*10=10000

但是这里面有一个误区,volatile关键字能保证可见性没有错,但是上面的程序错在没能保证原子性;可见性只能保证每次读取的是最新的值,但是volatile没办法保证对变量的操作的原子性;

自增操作是不具备原子性的,它包括读取变量的原始值、进行加1操作、写入工作内存;那么就是说自增操作的三个子操作可能会分割开执行,就有可能导致下面这种情况出现;

假如某个时刻变量inc的值为10,线程1对变量进行自增操作,线程1先读取了变量inc的原始值,然后线程1被阻塞了;

然后线程2对变量进行自增操作,线程2也去读取变量inc的原始值,由于线程1只是对变量inc进行读取操作,而没有对变量进行修改操作,所以不会导致线程2的工作内存中缓存变量inc的缓存行无效,所以线程2会直接去主存读取inc的值,发现inc的值是10,然后进行加1操作,并把11写入工作内存,最后写入主存;

然后线程1接着进行加1操作,由于已经读取了inc的值,注意此时在线程1的工作内存中inc的值仍然为10,所以线程1inc进行加1操作后inc的值为11,然后将11写入工作内存,最后写入主存;

那么两个线程分别进行了一次自增操作后,inc只增加了1

前面所说的,保证一个变量在修改volatile变量时,会让缓存行无效,然后其他线程去读就会读到新的值,这个是没错的;这个就是上面的happens-before规则中的volatile变量规则,但是要注意,线程1对变量进行读取操作之后,被阻塞了的话,并没有对inc值进行修改;然后虽然volatile能保证线程2对变量inc的值读取是从内存中读取的,但是线程1没有进行修改,所以线程2根本就不会看到修改的值;

根源就在这里,自增操作不是原子性操作,而且volatile也无法保证对变量的任何操作都是原子性的

但是,可以把上面的代码改成以下任何一种都可以达到原子性效果;

采用synchronized

public class Test {
    public  int inc = 0;
    
    public synchronized void increase() {
        inc++;
    }
    
    public static void main(String[] args) {
        final Test test = new Test();
        for(int i=0;i<10;i++){
            new Thread(){
                public void run() {
                    for(int j=0;j<1000;j++)
                        test.increase();
                };
            }.start();
        }
        
        while(Thread.activeCount()>1)  // 保证前面的线程都执行完
            Thread.yield();
        System.out.println(test.inc);
    }
}

采用Lock

public class Test {
    public  int inc = 0;
    Lock lock = new ReentrantLock();
    
    public  void increase() {
        lock.lock();
        try {
            inc++;
        } finally{
            lock.unlock();
        }
    }
    
    public static void main(String[] args) {
        final Test test = new Test();
        for(int i=0;i<10;i++){
            new Thread(){
                public void run() {
                    for(int j=0;j<1000;j++)
                        test.increase();
                };
            }.start();
        }
        
        while(Thread.activeCount()>1)  // 保证前面的线程都执行完
            Thread.yield();
        System.out.println(test.inc);
    }
}

采用AtomicInteger

public class Test {
    public  AtomicInteger inc = new AtomicInteger();
     
    public  void increase() {
        inc.getAndIncrement();
    }
    
    public static void main(String[] args) {
        final Test test = new Test();
        for(int i=0;i<10;i++){
            new Thread(){
                public void run() {
                    for(int j=0;j<1000;j++)
                        test.increase();
                };
            }.start();
        }
        
        while(Thread.activeCount()>1)  // 保证前面的线程都执行完
            Thread.yield();
        System.out.println(test.inc);
    }
}

java 1.5java.util.concurrent.atomic包下提供了一些原子操作类,即对基本数据类型的自增(加1操作),自减(减1操作)、以及加法操作(加一个数),减法操作(减一个数)进行了封装,保证这些操作是原子性操作;atomic是利用CAS来实现原子性操作的(Compare And Swap),CAS实际上是利用处理器提供的CMPXCHG指令实现的,而处理器执行CMPXCHG指令是一个原子性操作;

volatile与有序性

volatile关键字能禁止指令重排序,所以volatile能在一定程度上保证有序性;

volatile关键字禁止指令重排序有两层意思;

  1. 当程序执行到volatile变量的读操作或者写操作时,在其前面的操作的更改肯定全部已经进行,且结果已经对后面的操作可见;在其后面的操作肯定还没有进行;
  2. 在进行指令优化时,不能将在对volatile变量访问的语句放在其后面执行,也不能把volatile变量后面的语句放到其前面执行;

例如;

// x、y为非volatile变量
// flag为volatile变量
 
x = 2;        // 语句1
y = 0;        // 语句2
flag = true;  // 语句3
x = 4;         // 语句4
y = -1;       // 语句5

由于flag变量为volatile变量,那么在进行指令重排序的过程的时候,不会将语句3放到语句1、语句2前面,也不会讲语句3放到语句4、语句5后面;但是语句1和语句2的顺序、语句4和语句5的顺序是不作任何保证的;

并且volatile关键字能保证执行到语句3时,语句1和语句2必定是执行完毕了的,且语句1和语句2的执行结果对语句3、语句4、语句5是可见的;

那么回到前面的一个例子;

// 线程1:
context = loadContext();   // 语句1
inited = true;             // 语句2
 
// 线程2:
while(!inited ){
  sleep()
}
doSomethingwithconfig(context);

前面举这个例子的时候,提到有可能语句2会在语句1之前执行,那么就可能导致context还没被初始化,而线程2中就使用未初始化的context去进行操作,导致程序出错;

这里如果用volatile关键字对inited变量进行修饰,就不会出现这种问题了,因为当执行到语句2时,必定能保证context已经初始化完毕;

volatile的原理和实现机制

对于volatile保证可见性和禁止指令重排序的原理可以从下面这句话中得知;

观察加入volatile关键字和没有加入volatile关键字时所生成的汇编代码发现,加入volatile关键字时,会多出一个lock前缀指令(这段话摘自《深入理解Java虚拟机》);

lock前缀指令实际上相当于一个内存屏障(也称内存栅栏),内存屏障会提供3个功能;

  1. 它确保指令重排序时不会把其后面的指令排到内存屏障之前的位置,也不会把前面的指令排到内存屏障的后面;即在执行到内存屏障这句指令时,在它前面的操作已经全部完成;
  2. 它会强制将对缓存的修改操作立即写入主存;
  3. 如果是写操作,它会导致其他CPU中对应的缓存行无效;

使用volatile关键字的场景

synchronized关键字是防止多个线程同时执行一段代码,那么就会很影响程序执行效率,而volatile关键字在某些情况下性能要优于synchronized,但是要注意volatile关键字是无法替代synchronized关键字的,因为volatile关键字无法保证操作的原子性;通常来说,使用volatile必须具备以下2个条件;

  1. 对变量的写操作不依赖于当前值;
  2. 该变量没有包含在具有其他变量的不变式中;

实际上,这些条件表明,可以被写入volatile变量的这些有效值独立于任何程序的状态,包括变量的当前状态;

事实上,可以理解为,上面的2个条件需要保证操作是原子性操作,才能保证使用volatile关键字的程序在并发时能够正确执行;

下面是几个Java中使用volatile的场景;

状态标记量

volatile boolean flag = false;
 
while(!flag){
    doSomething();
}
 
public void setFlag() {
    flag = true;
}
volatile boolean inited = false;
// 线程1
context = loadContext();  
inited = true;            
 
// 线程2
while(!inited ){
	sleep()
}
doSomethingwithconfig(context);

Double-Check

class Singleton{
    private volatile static Singleton instance = null;
     
    private Singleton() {
         
    }
     
    public static Singleton getInstance() {
        if(instance==null) {
            synchronized (Singleton.class) {
                if(instance==null)
                    instance = new Singleton();
            }
        }
        return instance;
    }
}

这就是Java中的双重检查(Double-Check),可以参考文章 http://www.iteye.com/topic/652440

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值