java并发编程——内存模型

1. 并发编程基础概念

并发——在操作系统中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任一个时刻点上只有一个程序在处理机上运行——源自百度百科

在并发编程中,我们需要处理两个关键问题:线程之间如何通信线程之间如何同步,后续篇章将围绕这两个问题进行介绍。

  • 线程通信:是指线程之间以何种机制来交换信息,在命令式编程中,线程之间的通信机制有两种:共享内存和消息传递
  • 线程同步:是指程序用于控制不同线程之间操作发生相对顺序的机制。在Java中,可以通过volatile,synchronized, 锁等方式实现同步。

本文主要介绍java的通信机制,刚介绍常见通信机制主要包括以下两种方式:

  1. 共享内存:线程之间共享程序的公共状态,线程之间通过写-读内存中的公共状态来隐式进行通信。
  2. 消息传递:线程之间没有公共状态,线程之间必须通过明确的发送消息来显式进行通信。

Java的并发采用的是共享内存模型,Java线程之间的通信总是隐式进行,整个通信过程对程序员完全透明。在java中,所有实例域、静态域和数组元素存储在堆内存中,堆内存在线程之间共享。

Java线程之间的通信由Java内存模型(本文简称为JMM)控制,JMM决定一个线程对共享变量的写入何时对另一个线程可见。

2. JMM内存模型

JMM(Java Memory Model)是JVM规范中定义的一种Java内存模型,它的目的是屏蔽掉各种硬件和操作系统的内存访问差异,以实现让Java程序在各种平台上到能达到一致的内存访问效果。
Java内存模型的主要定义程序中各个变量的访问规则,即在虚拟机中将变量存储到内存和从内存中取出变量这样底层细节。首先简单说明几个常用名称定义:

  • 变量:这里指包括了实例字段、静态字段和构成数组对象的元素,但是不包括局部变量与方法参数,后者是线程私有的,不会被共享。
  • 主内存:在java中,实例域、静态域和数组元素是线程之间共享的数据,它们存储在主内存中。
  • 工作内存:每条线程都有自己的工作内存,线程的工作内存中保存了该线程使用到的变量到主内存副本拷贝,线程对变量的所有操作(读取、赋值)都必须在工作内存中进行,而不能直接读写主内存中的变量。

线程、主内存和工作内存之间交互关系

线程、主内存和工作内存的交互关系如上图所示,和CPU-缓存-内存很类似。
不同线程之间无法直接访问对方工作内存中的变量,线程间变量值的传递均需要在主内存来完成
最后注意,为了获得较好的执行性能,Java内存模型并没有限制执行引擎使用处理器的寄存器或者高速缓存来提升指令执行速度,也没有限制编译器对指令进行重排序。也就是说,在java内存模型中,也会存在缓存一致性问题和指令重排序的问题

3. 内存间交互操作

关于主内存与工作内存之间的具体交互协议,即一个变量如何从主内存拷贝到工作内存、如何从工作内存同步到主内存之间的实现细节,Java内存模型定义了以下八种操作来完成:

  • lock(锁定):作用于主内存的变量,把一个变量标识为一条线程独占状态。
  • unlock(解锁):作用于主内存变量,把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定。
  • read(读取):作用于主内存变量,把一个变量值从主内存传输到线程的工作内存中,以便随后的load动作使用
  • load(载入):作用于工作内存的变量,它把read操作从主内存中得到的变量值放入工作内存的变量副本中。
  • use(使用):作用于工作内存的变量,把工作内存中的一个变量值传递给执行引擎,每当虚拟机遇到一个需要使用变量的值的字节码指令时将会执行这个操作。
  • assign(赋值):作用于工作内存的变量,它把一个从执行引擎接收到的值赋值给工作内存的变量,每当虚拟机遇到一个给变量赋值的字节码指令时执行这个操作。
  • store(存储):作用于工作内存的变量,把工作内存中的一个变量的值传送到主内存中,以便随后的write的操作。
  • write(写入):作用于主内存的变量,它把store操作从工作内存中一个变量的值传送到主内存的变量中。

所以变量读写包含以下几个步骤:

  1. 变量从主内存复制到工作内存——顺序执行read和load操作
  2. 变量从工作内存同步到主内存——顺序执行store和write操作

注意,Java内存模型只要求上述操作必须按顺序执行,而没有保证必须是连续执行。也就是read和load之间,store和write之间是可以插入其他指令的。
除了定义以上8中原子操作,Java内存模型还规定了上述8种基本操作在执行时必须满足一定的操作规则,例如如不允许read和load单独出现(即不允许一个变量从主内存中读取但工作内存不接受),不允许store和write单独出现(即不允许从工作内存中发起了回写单主内存不接受),这里不一一列举,详细网上搜索即可。
Java内存模型还定义了volatile型变量的特殊规则(下一节介绍),以上三种规定共同确定了Java中哪些内存访问操作是安全的即:

8种原子操作+操作规则+volatile规定=Java中哪些内存访问操作是安全的

4. volatile型变量规定

当一个变量被定义为volatile后,将具备两种特性:

  • 特性一:保证此变量对所有线程的可见性
  • 特性二:禁止指令重排序优化

4.1 volatile可见性

可见性是指当多个线程访问同一个变量时,一个线程修改了这个变量的值,其他线程能够立即看得到修改的值。
普通的共享变量不能保证可见性,因为普通共享变量被修改之后,什么时候被写入主存是不确定的,当其他线程去读取时,此时内存中可能还是原来的旧值,因此无法保证可见性。
但是,需要注意的是volatile变量只保证可见性,但是java里面的运算并非全部都是原子操作例如++操作,这样同样导致volatile修饰变量java运算不安全。
一般不符合以下两条规则的运算场景中,我们需要通过加锁(synchronized或并发包中的锁)保证变量原子性:

  • 运算结果并不依赖变量的当前值,或者能够确保只有单一的线程修改变量的值(比如++操作不符合依赖当前值)
  • 变量不需要与其他状态变量共同参与不变约束

常见的volatile修饰变量的场景是用来作为开关控制并发:

 

volatile开关

4.2 禁止指令重排序

重排序:是指“编译器和处理器”为了提高性能,而在程序执行时会对程序进行的重排序。大致可以分为以下三类:

  • 编译器优化指令重排,不改变单线程语义的情况下,重新安排指令执行的顺序。
  • 指令级并行重排序,该优化主要是为了让程序发挥现代处理器的指令级并行执行能力,前提是这些语句不存在数据依赖。
  • 内存系统重排序,主要发生在处理器读写缓冲区,读写过程看起来是无序的,但最终结果是有序的
    从Java源代码到最终实际执行的指令序列,会经过下面三种重排序:

实际执行指令序列

 

以上重排序可能会导致多线程中出现内存可见性问题,针对编译器重排序JMM的编译器重排序规则会禁止特定类型的编译器重排序。
而对于后两种重排序,JMM的处理器重排序规则会要求java编译器在生成指令序列时,插入特定类型的内存屏障(memory barriers,intel称之为memory fence)指令,通过内存屏障指令来禁止特定类型的处理器重排序(不是所有的处理器重排序都要禁止)。

下面我们看下jvm如何实现volatile禁止指令重排序的:

  1. volatile变量写操作,jvm会向处理器发送一条Lock前缀命令,将变量所在的缓存行系会到系统内存。其他处理器通过嗅探总线上传播的数据检测自己的数据是否过期,如果发现过期会置为无效,再次使用时会从系统内存获取
  2. Lock前缀命令禁止该指令与之前和之后的读和写指令重排序。

最后,关于volatile禁止重排序几点使用说明:

  • 不会对volatile读与volatile读后面的任意内存操作重排序
  • 不会对volatile写与volatile写之前的任意内存操作重排序
  • CAS同时具有volatile读和写内存的语义,java的CAS使用现代处理器提供的高效级别的原子指令,这些原子指令以原子方式对内存执行读-改-写操作,这是多处理器中实现同步的关键。

5. JMM内存模型总结

总的来说JMM内存模型是围绕着在并发过程中如何处理原子性、可见性和有序性三个特征来建立的。下面就三个特征分别说明:

5.1 原子性

原子性:即一个操作或者多个操作 要么全部执行并且执行的过程不会被任何因素打断,要么就都不执行。
java内存模型的read、load、assign、use、store和write六个操作直接保证原子性,我们可以任务基本数据类型访问读写是具有原子性(特殊说明long double64位操作根据jvm实现有关)。
如果场景中需要大范围的原子性保证,java内存模型提供了lock和unlock操作来满足,对应到java代码关键字即是——synchronized。

5.2 可见性

可见性是指当多个线程访问同一个变量时,一个线程修改了这个变量的值,其他线程能够立即看得到修改的值。
除了上面介绍的volatile外,java还提供了两个关键字实现可见性,synchronized和final。

  • final的可见性:是指被final修饰的字段在构造器中一旦完成,那么在其他线程就可以看见final字段值
  • synchronized可见性:是指对一个变量执行unlock操作之前,必须先把次变量同步会主内存这条操作规则限制

5.3 有序性

有序性:即程序执行的顺序按照代码的先后顺序执行。
java中天然有序性可以总结为一句话:如果在本线程内观察,所有的操作都是有序的;如果在一个线程中观察另外一个线程,所有操作都是无序的。前半句是指“线程内表现为串行语义”,后半句表示“指令重排”和“工作内存与主内存同步延迟”现象。
java提供了volatile和synchronized两个关键字来保证线程之间操作的有序性,这里synchronized则是有“同一时刻只允许一条线程对其进行lock操作”这条操作规定获取的,这个规则决定了同一个锁的两个同步块只能串行进入。

最后,可以发现synchronized关键字可以同时解决上述三个问题,当然这个需要付出代价就是性能问题。

参考文档

《深入理解java虚拟机》——周志明
http://www.cnblogs.com/dolphin0520/p/3920373.html



作者:陈晨_Fly
链接:https://www.jianshu.com/p/b1f7dce224f7
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

在使用Python来安装geopandas包时,由于geopandas依赖于几个其他的Python库(如GDAL, Fiona, Pyproj, Shapely等),因此安装过程可能需要一些额外的步骤。以下是一个基本的安装指南,适用于大多数用户: 使用pip安装 确保Python和pip已安装: 首先,确保你的计算机上已安装了Python和pip。pip是Python的包管理工具,用于安装和管理Python包。 安装依赖库: 由于geopandas依赖于GDAL, Fiona, Pyproj, Shapely等库,你可能需要先安装这些库。通常,你可以通过pip直接安装这些库,但有时候可能需要从其他源下载预编译的二进制包(wheel文件),特别是GDAL和Fiona,因为它们可能包含一些系统级的依赖。 bash pip install GDAL Fiona Pyproj Shapely 注意:在某些系统上,直接使用pip安装GDAL和Fiona可能会遇到问题,因为它们需要编译一些C/C++代码。如果遇到问题,你可以考虑使用conda(一个Python包、依赖和环境管理器)来安装这些库,或者从Unofficial Windows Binaries for Python Extension Packages这样的网站下载预编译的wheel文件。 安装geopandas: 在安装了所有依赖库之后,你可以使用pip来安装geopandas。 bash pip install geopandas 使用conda安装 如果你正在使用conda作为你的Python包管理器,那么安装geopandas和它的依赖可能会更简单一些。 创建一个新的conda环境(可选,但推荐): bash conda create -n geoenv python=3.x anaconda conda activate geoenv 其中3.x是你希望使用的Python版本。 安装geopandas: 使用conda-forge频道来安装geopandas,因为它提供了许多地理空间相关的包。 bash conda install -c conda-forge geopandas 这条命令会自动安装geopandas及其所有依赖。 注意事项 如果你在安装过程中遇到任何问题,比如编译错误或依赖问题,请检查你的Python版本和pip/conda的版本是否是最新的,或者尝试在不同的环境中安装。 某些库(如GDAL)可能需要额外的系统级依赖,如地理空间库(如PROJ和GEOS)。这些依赖可能需要单独安装,具体取决于你的操作系统。 如果你在Windows上遇到问题,并且pip安装失败,尝试从Unofficial Windows Binaries for Python Extension Packages网站下载相应的wheel文件,并使用pip进行安装。 脚本示例 虽然你的问题主要是关于如何安装geopandas,但如果你想要一个Python脚本来重命名文件夹下的文件,在原始名字前面加上字符串"geopandas",以下是一个简单的示例: python import os # 指定文件夹路径 folder_path = 'path/to/your/folder' # 遍历文件夹中的文件 for filename in os.listdir(folder_path): # 构造原始文件路径 old_file_path = os.path.join(folder_path, filename) # 构造新文件名 new_filename = 'geopandas_' + filename # 构造新文件路径 new_file_path = os.path.join(folder_path, new_filename) # 重命名文件 os.rename(old_file_path, new_file_path) print(f'Renamed "{filename}" to "{new_filename}"') 请确保将'path/to/your/folder'替换为你想要重命名文件的实际文件夹路径。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值