L2ARC Internal

现在很多用户都在尝试在应用中采用混合存储架构。混合存储池的好处很多，我就不再复述这些。混合存储池的最大技术优势就是ZFS的优化读性能（L2ARC）和写性能（ZIL）。我仅根据我的理解，分两部分分别对L2ARC和ZIL的实现原理做一下描述。
Data Management Unit (DMU)负责管理L2ARC和ZIL。L2ARC是介于磁盘和内存中间的一个缓存层，可以采用SSD或者速度快的存储设备作为L2ARC层。它主要是用来缓存内存中没有住缓存的数据，现在主要用来加速随机读的性能。对于顺序读和媒体流的应用，起不到太大的加速性能的作用。
Internal

 

*                 +-----------------------+

 *                 |         ARC           |

 *                 +-----------------------+

 *                    |         ^     ^

 *                    |         |     |

 *      l2arc_feed_thread()    arc_read()

 *                    |         |     |

 *                    |  l2arc read   |

 *                    V         |     |

 *               +---------------+    |

 *               |     L2ARC     |    | 

 *               +---------------+    |

 *                   |    ^           |

 *          l2arc_write() |           |

 *                   |    |           |

 *                   V    |           |

 *                 +-------+      +-------+

 *                 | vdev  |      | vdev  |

 *                 | cache |      | cache |

 *                 +-------+      +-------+

 *                 +=========+     .-----.

 *                 :  L2ARC  :    |-_____-|

 *                 : devices :    | Disks |

 *                 +=========+    `-_____-'

缓存的顺序为：
1) ARC
2) vdev cache of L2ARC devices
3) L2ARC devices
4) vdev cache of disks
5) disks
在ARC中没有的数据，系统会到L2ARC中去找，如果L2ARC中没有，则会到磁盘上去找。L2ARC的作用就是降低系统去磁盘的次数。

这里有几点与传统的cache设计不同：
1）ARC不会主动的把不经常访问的数据送到L2ARC上。这样可以减少内存的压力，降低内存的写延迟。
2）L2ARC会自己主动的去ARC中缓存那些ARC将要踢掉的数据。ARC会根据MFU 和MRU规则对数据进行更新，把不经常访问的数据放到列表中，L2ARC上会有个进程l2arc_feed_thread()定期扫描列表的末端。如果L2ARC上没有这些数据，则L2ARC就会缓存这部分数据。

 

 

*             head -->                        tail

 *              +---------------------+----------+

 *      ARC_mfu |:::::#:::::::::::::::|o#o###o###|-->.   # already on L2ARC

 *              +---------------------+----------+   |   o L2ARC eligible

 *      ARC_mru |:#:::::::::::::::::::|#o#ooo####|-->|   : ARC buffer

 *              +---------------------+----------+   |

 *                   15.9 Gbytes      ^ 32 Mbytes    |

 *                                 headroom          |

 *                                            l2arc_feed_thread()

 *                                                   |

 *                       l2arc write hand <--[oooo]--'

 *                               |           8 Mbyte

 *                               |          write max

 *                               V

 *                +==============================+

 *      L2ARC dev |####|#|###|###|    |####| ... |

 *                +==============================+

 *                           32 Gbytes

3）如果ARC驱逐数据的速度快于L2ARC的读取数据的速度，则L2ARC就会丢失headroom中的一些数据。这样当读压力很大的情况下，避免了在L2ARC尝试快速缓存大量ARC数据时而引起的ARC堵塞情况的出现。
4）如果ARC没有较多的驱逐数据的时候，ARC_mfu and ARC_mru列表基本处于一个静止的状态，这时，l2arc_feed_thread()会从头到尾扫描整个列表，而不仅仅是列表的尾部，去缓存符合条件的数据来缓存。
5）写到L2ARC上的数据是顺序摆放的，这样子vdev可以把它们组合成大的数据包来减少写入的次数，从而提高性能。
6)L2ARC从来不缓存脏的数据，因此它从来不需要把数据写回到磁盘上。这主要是因为L2ARC从ARC中缓存数据，如果客户修改数据，ARC会读取最新的数据，L2ARC会重新从ARC中读取最新数据并保存它，L2ARC buffer会马上把原来的数据丢掉。 L2ARC的数据永远与ARC的数据保持一致。
7）对于L2ARC已经存在ARC上驱逐出来的数据，如果L2ARC再次从ARC_mfu and ARC_mru读到它的时候，L2ARC buffer也会马上把它丢掉，并不会再次缓存它。

根据上面的原理的描述，我再解释两点：
1）通常我们会观测L2ARC的命中率来判断L2ARC是否起作用，来决定是否需要再加SSD等设备。
在ZFS中，ARC会默认使用所有的内存作为缓存来缓存数据的。如果ARC有足够的能力缓存所有数据的话，那么L2ARC的命中率自然会很低，这主要是因为ARC已经起到很好的缓存作用了。降低ARC的大小，可以帮助你得到L2ARC的高命中率。
2）L2ARC缓存ARC中驱逐出来的数据。如果出现L2ARC出现故障而不能使用的话，系统会自动地去磁盘读取数据返回给客户端，只是速度慢了些(L2ARC的延迟比磁盘的延迟低20倍左右)，但是并不会影响应用的正常运行。为了避免这种情况的出现，可以采用配置L2ARC的镜像来解决这种问题。