python

总结：

1、从下面的分析中可知，进程内存包括链接其他库的“共享内存”，要节约内存，就需要使用“共享内存“的进程或线程越多，把“共享内存”中“内存页”考到，进程或线程的私有内存空间操作越少。

2、但是Linux内核具有一种称为写入时复制（Copy-on-Write，CoW）的机制，用作 fork 进程的优化。

3、而python中对象结构体PyObject有一个元素记录对象应用计数，每次我们读取一个Python对象时，解释器将增加其引用计数，这本质上是对其底层数据结构的写入。这导致 CoW 的发生。因此，我们在使用 Python 时，正在做的即是读取时复制（CoR）！

Linux内存管理中不管是top命令还是pmap命令，都会有RSS和VSZ这两个名词，这里解释一下：

RSS（ Resident Set Size ）常驻内存集合大小，表示相应进程在RAM中占用了多少内存，并不包含在SWAP中占用的虚拟内存。即使是在内存中的使用了共享库的内存大小也一并计算在内，包含了完整的在stack和heap中的内存。

VSZ （Virtual Memory Size)，表明是虚拟内存大小，表明了该进程可以访问的所有内存，包括被交换的内存和共享库内存。

如果进程A的二进制文件大小为500KB，并且链接到了2500KB的共享库，有200KB的stack/heap大小，这200KB中又有100KB位于内存中，100KB位于SWAP空间中，并且加载了1000KB的共享库和400KB的自身二进制文件。则

RSS: 

400K + 1000K + 100K = 1500K

VSZ

500K + 2500K + 200K = 3200K

 

参考：禁用 Python GC，Instagram 性能提升10%

http://python.jobbole.com/87447/

https://blog.csdn.net/JackLiu16/article/details/88081114

通过关闭 Python 垃圾收集（GC）机制，该机制通过收集和释放未使用的数据来回收内存，Instagram 的运行效率提高了 10 ％。是的，你没听错！通过禁用 GC，我们可以减少内存占用并提高 CPU 中 LLC 缓存的命中率。如果你对为什么会这样感兴趣，带你发车咯！

我们如何运行 Web 服务器的？

Instagram 的 Web 服务器在多进程模式下运行 Django，使用主进程创建数十个工作（worker）进程，而这些工作进程会接收传入的用户请求。对于应用程序服务器来说，我们使用带分叉模式的 uWSGI 来平衡主进程和工作进程之间的内存共享。

为了防止 Django 服务器运行到 OOM，uWSGI 主进程提供了一种机制，当其 RSS 内存超过预定的限制时重新启动工作进程。

了解内存

我们开始研究为什么 RSS 内存在由主进程产生后会迅速增长。一个观察结果是，RSS 内存即使是从 250 MB 开始的，其共享内存也会下降地非常快，在几秒钟内从 250 MB 到大约 140 MB（共享内存大小可以从/ proc / PID / smaps读取）。这里的数字是无趣的，因为它们随时都会变化，但共享内存下降的规模是非常有趣的 – 大约是总内存 1/3 的。接下来，我们想要了解为什么共享内存，在工作器开始产生时是怎样变为每个进程的私有内存的。

我们的猜测：读取时复制

Linux内核具有一种称为写入时复制（Copy-on-Write，CoW）的机制，用作 fork 进程的优化。一个子进程开始于与其父进程共享每个内存页。而仅当该页面被写入时，该页面才会被复制到子进程内存空间中（有关详细信息，请参阅 wiki https://en.wikipedia.org/wiki/Copy-on-write）。

但在Python领域里，由于引用计数的缘故，事情变得有趣。每次我们读取一个Python对象时，解释器将增加其引用计数，这本质上是对其底层数据结构的写入。这导致 CoW 的发生。因此，我们在使用 Python 时，正在做的即是读取时复制（CoR）！

 

#define PyObject_HEAD                  
    _PyObject_HEAD_EXTRA                
    Py_ssize_t ob_refcnt;              
    struct _typeobject *ob_type;
...
typedef struct _object {
    PyObject_HEAD
} PyObject;

 

 

所以问题是：我们在写入时复制的是不可变对象如代码对象吗？假定 PyCodeObject 确实是 PyObject 的“子类”，显然也是这样的。我们的第一想法是禁用 PyCodeObject 的引用计数。

https://www.cnblogs.com/geaozhang/articles/7111961.html