FME高性能编程，让你的FME快起来

目录

前言

一、计算机编译原理

1.内存

2.CPU和线程进程关系

3.磁盘

二、FME如何提高性能

1.FME模板执行的底层逻辑

2.通过细节提高FME性能

 3.利用python线程池提高并发线程数

总结

---

前言

在处理大批量数据时，往往很多同学会发现，为什么我明明数据量很大，但是我的cpu利用率却非常低，而且内存占用却非常高。这个是很多软件都会出现的通病，不光限于FME。所以在学习高性能处理数据之前，我们还得了解下一些基础的计算机原理。

---

一、计算机编译原理

1.内存

内存被分为了4个区，代码区，全局区，栈区，堆区。其中代码区就是存放函数体的二进制代码，由操作系统进行管理；全局区存放全局变量和静态变量以及常量；栈区由编译器自动分配释放，存放函数的参数值，局部变量等；堆区存储复杂类型(对象)，一般由程序员分配释放，若程序员不释放，由垃圾回收机制回收，引用数据类型存放到堆里面。那么由此可见，我们在使用fme时，读取的所有数据都会被引入到堆区储存，等待程序运行完毕后才会被释放。我们在使用一下阻塞类转换器比如FeatureMerger，areaonarea等转换器，这种阻塞类转换器，会等所有要素全部计算完毕后才会把要素抛出到下一个转换器。所以当程序阻塞类转换器变多，那么必将引起堆区数据不能被合理释放，则会导致内存的积压。程序的执行计算，是需要在内存中寻找数据的，所以内