CEPH PLACEMENT GROUP CONCEPTS

PLACEMENT GROUP CONCEPTS

When you execute commands like ceph -w, ceph osd dump, and other commands related to placement groups, Ceph may return values using some of the following terms:

Peering

The process of bringing all of the OSDs that store a Placement Group (PG) into agreement about the state of all of the objects (and their metadata) in that PG. Note that agreeing on the state does not mean that they all have the latest contents.

Acting Set

The ordered list of OSDs who are (or were as of some epoch) responsible for a particular placement group.

Up Set

The ordered list of OSDs responsible for a particular placement group for a particular epoch according to CRUSH. Normally this is the same as the Acting Set, except when the Acting Set has been explicitly overridden via pg_temp in the OSD Map.

Current Interval or Past Interval

A sequence of OSD map epochs during which the Acting Set and Up Set for particular placement group do not change.

Primary

The member (and by convention first) of the Acting Set, that is responsible for coordination peering, and is the only OSD that will accept client-initiated writes to objects in a placement group.

Replica

A non-primary OSD in the Acting Set for a placement group (and who has been recognized as such and activated by the primary).

Stray

An OSD that is not a member of the current Acting Set, but has not yet been told that it can delete its copies of a particular placement group.

Recovery

Ensuring that copies of all of the objects in a placement group are on all of the OSDs in the Acting Set. Once Peering has been performed, the Primary can start accepting write operations, and Recovery can proceed in the background.

PG Info

Basic metadata about the placement group’s creation epoch, the version for the most recent write to the placement group, last epoch started, last epoch clean, and the beginning of the current interval. Any inter-OSD communication about placement groups includes the PG Info, such that any OSD that knows a placement group exists (or once existed) also has a lower bound on last epoch clean or last epoch started.

PG Log

A list of recent updates made to objects in a placement group. Note that these logs can be truncated after all OSDs in the Acting Set have acknowledged up to a certain point.

Missing Set

Each OSD notes update log entries and if they imply updates to the contents of an object, adds that object to a list of needed updates. This list is called the Missing Set for that <OSD,PG>.

Authoritative History

A complete, and fully ordered set of operations that, if performed, would bring an OSD’s copy of a placement group up to date.

Epoch

A (monotonically increasing) OSD map version number

Last Epoch Start

The last epoch at which all nodes in the Acting Set for a particular placement group agreed on an Authoritative History. At this point, Peering is deemed to have been successful.

up_thru

Before a Primary can successfully complete the Peering process, it must inform a monitor that is alive through the current OSD map Epoch by having the monitor set its up_thru in the osd map. This helps Peering ignore previous Acting Sets for which Peering never completed after certain sequences of failures, such as the second interval below:

• acting set = [A,B]
• acting set = [A]
• acting set = [] very shortly after (e.g., simultaneous failure, but staggered detection)
• acting set = [B] (B restarts, A does not)

Last Epoch Clean

The last Epoch at which all nodes in the Acting set for a particular placement group were completely up to date (both placement group logs and object contents). At this point, recovery is deemed to have been completed.

 

#ceph pg dump

version 422
stamp 2019-10-04 18:18:42.361409
last_osdmap_epoch 0
last_pg_scan 0
PG_STAT OBJECTS MISSING_ON_PRIMARY DEGRADED MISPLACED UNFOUND BYTES     OMAP_BYTES* OMAP_KEYS* LOG  DISK_LOG STATE        STATE_STAMP                VERSION   REPORTED  UP      UP_PRIMARY ACTING  ACTING_PRIMARY LAST_SCRUB SCRUB_STAMP                LAST_DEEP_SCRUB DEEP_SCRUB_STAMP           SNAPTRIMQ_LEN 
5.4d         64                  0        0         0       0 268215296           0          0 2062     2062 active+clean 2019-10-04 18:12:35.934232  660'2062 660:11328 [1,2,0]          1 [1,2,0]              1   660'2062 2019-10-04 18:12:35.934123        660'2062 2019-10-04 18:12:35.934123             0 
5.4c         66                  0        0         0       0 276558336           0          0 1140     1140 active+clean 2019-10-04 18:07:59.666764  660'1140  660:2495 [2,1,0]          2 [2,1,0]              2   660'1140 2019-10-04 18:07:59.666696        660'1140 2019-10-04 18:07:59.666696             0 
5.4b         61                  0        0         0       0 255644160           0          0  755      755 active+clean 2019-10-04 18:10:27.484614   660'755  660:1741 [2,1,0]          2 [2,1,0]              2    660'755 2019-10-04 18:10:27.484544         660'755 2019-10-04 18:10:27.484544             0 
5.49         49                  0        0         0       0 205327360           0          0 2295     2295 active+clean 2019-10-04 18:05:09.484432  640'2295  659:3333 [0,2,1]          0 [0,2,1]              0   405'1308 2019-09-28 07:49:07.594379             0'0 2019-09-21 09:54:01.378568             0 
5.48         66                  0        0         0       0 276500480           0          0 3087     3087 active+clean 2019-10-04 18:10:42.758240  660'4393  660:5962 [2,1,0]          2 [2,1,0]              2   660'4393 2019-10-04 18:10:42.757824        660'4393 2019-10-04 18:10:42.757824             0 
5.47         54                  0        0         0       0 226058240           0          0 2111     2111 active+clean 2019-10-04 18:05:09.369797  649'2111  659:4049 [0,2,1]          0 [0,2,1]              0    387'622 2019-09-28 07:50:21.660179             0'0 2019-09-21 09:54:01.378568             0 
5.46         57                  0        0         0       0 238866944           0          0 2907     2907 active+clean 2019-10-04 18:13:01.284597  660'2907  660:5320 [0,2,1]          0 [0,2,1]              0   660'2907 2019-10-04 18:13:01.284520        660'2907 2019-10-04 18:13:01.284520             0 
5.45         53                  0        0         0       0 222146560           0          0 3064     3064 active+clean 2019-10-04 18:12:27.726251  660'6470 660:13106 [1,2,0]          1 [1,2,0]              1   660'6470 2019-10-04 18:12:27.726176        660'6470 2019-10-04 18:12:27.726176             0 
5.44         76                  0        0         0       0 318498816           0          0 2405     2405 active+clean 2019-10-04 18:07:46.766286  660'2405  660:5667 [2,1,0]          2 [2,1,0]              2   660'2405 2019-10-04 18:07:46.765862        660'2405 2019-10-04 18:07:46.765862             0 
5.43         62                  0        0         0       0 259822592           0          0 3060     3060 active+clean 2019-10-04 18:10:04.033113  660'6730  660:9917 [2,1,0]          2 [2,1,0]              2   660'6730 2019-10-04 18:10:04.033040        660'6730 2019-10-04 18:10:04.033040             0 
5.42         56                  0        0         0       0 234645504           0          0 1142     1142 active+clean 2019-10-04 18:16:29.254557  660'1142  660:5222 [0,2,1]          0 [0,2,1]              0   660'1142 2019-10-04 18:16:29.254483        660'1142 2019-10-04 18:16:29.254483             0 
5.41         66                  0        0         0       0 276584448           0          0 1463     1463 active+clean 2019-10-04 18:14:03.060152  660'1463  660:2883 [0,2,1]          0 [0,2,1]              0   660'1463 2019-10-04 18:14:03.059998        660'1463 2019-10-04 18:14:03.059998             0 
5.40         59                  0        0         0       0 247047168           0          0 1607     1607 active+clean 2019-10-04 18:16:41.449041  660'1607  660:3933 [0,1,2]          0 [0,1,2]              0   660'1607 2019-10-04 18:16:41.448968        660'1607 2019-10-04 18:16:41.448968             0 
6.3c          9                  0        0         0       0  37748736           0          0    9        9 active+clean 2019-10-04 18:05:09.368209     344'9   659:552 [0,2,1]          0 [0,2,1]              0      344'9 2019-09-28 07:51:46.631656             0'0 2019-09-21 19:26:11.720726             0 
5.3f         63                  0        0         0       0 263593472           0          0 3001     3001 active+clean 2019-10-04 18:08:23.771916  660'4301  660:6707 [2,0,1]          2 [2,0,1]              2   660'4301 2019-10-04 18:08:23.771850        660'4301 2019-10-04 18:08:23.771850             0 
6.3d          5                  0        0         0       0  20971520           0          0   10       10 active+clean 2019-10-04 18:13:50.237765    660'10   660:544 [0,1,2]          0 [0,1,2]              0     660'10 2019-10-04 18:13:50.237684          660'10 2019-10-04 18:13:50.237684             0 
5.3e         70                  0        0         0       0 293248512           0          0 1930     1930 active+clean 2019-10-04 18:07:33.525758  660'1930  660:6699 [2,0,1]          2 [2,0,1]              2   660'1930 2019-10-04 18:07:33.525420        660'1930 2019-10-04 18:07:33.525420             0 
6.3e          4                  0        0         0       0  16777216           0          0    4        4 active+clean 2019-10-04 18:05:09.533970     344'4   659:533 [0,2,1]          0 [0,2,1]              0      344'4 2019-09-28 07:50:36.610278             0'0 2019-09-21 19:26:11.720726             0 
5.3d         71                  0        0         0       0 297521664           0          0 3080     3080 active+clean 2019-10-04 18:12:50.166947  660'3080  660:7540 [1,2,0]          1 [1,2,0]              1   660'3080 2019-10-04 18:12:50.166873        660'3080 2019-10-04 18:12:50.166873             0 
6.3f          3                  0        0         0       0  12582912           0          0    3        3 active+clean 2019-10-04 18:05:09.488466     344'3   659:531 [0,1,2]          0 [0,1,2]              0      344'3 2019-09-28 07:49:53.550907             0'0 2019-09-21 19:26:11.720726             0 
5.3c         75                  0        0         0       0 314296832           0          0 2490     2490 active+clean 2019-10-04 18:13:45.487942  660'2490 660:10100 [0,1,2]          0 [0,1,2]              0   660'2490 2019-10-04 18:13:45.487871        660'2490 2019-10-04 18:13:45.487871             0 
6.38          8                  0        0         0       0  33554432           0          0   16       16 active+clean 2019-10-04 18:08:12.562106    660'16   660:347 [2,1,0]          2 [2,1,0]              2     660'16 2019-10-04 18:08:12.561434          660'16 2019-10-04 18:08:12.561434             0 
5.3b         71                  0        0         0       0 297491456           0          0 1474     1474 active+clean 2019-10-04 18:10:35.752783  660'1474  660:2761 [2,0,1]          2 [2,0,1]              2   660'1474 2019-10-04 18:10:35.752689        660'1474 2019-10-04 18:10:35.752689             0 
6.39          5                  0        0         0       0  20971520           0          0   11       11 active+clean 2019-10-04 18:10:37.284568    660'11   660:335 [2,0,1]          2 [2,0,1]              2     660'11 2019-10-04 18:10:37.284493          660'11 2019-10-04 18:10:37.284493             0 
5.3a         54                  0        0         0       0 222147603           0          0 3044     3044 active+clean 2019-10-04 18:15:48.239745 660'10344 660:28078 [0,2,1]          0 [0,2,1]              0  660'10344 2019-10-04 18:15:48.239657       660'10344 2019-10-04 18:15:48.239657             0 
6.3a         10                  0        0         0       0  41943040           0          0   20       20 active+clean 2019-10-04 18:13:59.450276    660'20   660:575 [0,2,1]          0 [0,2,1]              0     660'20 2019-10-04 18:13:59.450187          660'20 2019-10-04 18:13:59.450187             0 
5.39         74                  0        0         0       0 309937152           0          0 3015     3015 active+clean 2019-10-04 18:09:31.874237  660'3015 660:25035 [1,2,0]          1 [1,2,0]              1   660'3015 2019-10-04 18:09:31.874139        660'3015 2019-10-04 18:09:31.874139             0 
6.3b          9                  0        0         0       0  37748736           0          0   18       18 active+clean 2019-10-04 18:16:26.050896    660'18   660:562 [0,1,2]          0 [0,1,2]              0     660'18 2019-10-04 18:16:26.050812          660'18 2019-10-04 18:16:26.050812             0 
5.38         59                  0        0         0       0 246875136           0          0 1861     1861 active+clean 2019-10-04 18:09:27.955235  649'1861  660:5400 [1,0,2]          1 [1,0,2]              1   649'1861 2019-10-04 18:09:27.955140         438'796 2019-09-28 07:50:40.393966             0 
6.34          5                  0        0         0       0  16777570           0          0   10       10 active+clean 2019-10-04 18:08:36.233935    660'10   660:335 [2,0,1]          2 [2,0,1]              2     660'10 2019-10-04 18:08:36.233842          660'10 2019-10-04 18:08:36.233842             0 
5.37         72                  0        0         0       0 301699072           0          0 2178     2178 active+clean 2019-10-04 18:08:01.657317  660'2178  660:4335 [1,0,2]          1 [1,0,2]              1   660'2178 2019-10-04 18:08:01.657237        660'2178 2019-10-04 18:08:01.657237             0 
6.35          5                  0        0         0       0  20971520           0          0   11       11 active+clean 2019-10-04 18:09:38.059020    660'11   660:443 [1,2,0]          1 [1,2,0]              1     660'11 2019-10-04 18:09:38.056714          660'11 2019-10-04 18:09:38.056714             0 
5.36         56                  0        0         0       0 234655232           0          0 1180     1180 active+clean 2019-10-04 18:05:09.338593  640'1180  659:3059 [0,2,1]          0 [0,2,1]              0    438'762 2019-09-28 07:49:05.654100         438'762 2019-09-28 07:49:05.654100             0 
6.36          7                  0        0         0       0  29360128           0          0   14       14 active+clean 2019-10-04 18:10:10.382849    660'14   660:446 [1,0,2]          1 [1,0,2]              1     660'14 2019-10-04 18:10:10.382716          660'14 2019-10-04 18:10:10.382716             0 
5.35         69                  0        0         0       0 289164800           0          0 2149     2149 active+clean 2019-10-04 18:09:14.869120  649'2149  660:8587 [1,2,0]          1 [1,2,0]              1   649'2149 2019-10-04 18:09:14.868407        438'1450 2019-09-28 07:50:37.466389             0 
6.37          7                  0        0         0       0  29360128           0          0   15       15 active+clean 2019-10-04 18:05:09.353292    438'15   659:552 [0,1,2]          0 [0,1,2]              0     438'15 2019-09-28 07:50:41.867422          438'15 2019-09-28 07:50:41.867422             0 
5.34         52                  0        0         0       0 217927680           0          0 3009     3009 active+clean 2019-10-04 18:12:24.543727  660'3209  660:4947 [1,0,2]          1 [1,0,2]              1   660'3209 2019-10-04 18:12:24.543273        660'3209 2019-10-04 18:12:24.543273             0 
6.30         12                  0        0         0       0  50331648           0          0   24       24 active+clean 2019-10-04 18:11:54.731880    660'24   660:456 [1,0,2]          1 [1,0,2]              1     660'24 2019-10-04 18:11:54.731810          660'24 2019-10-04 18:11:54.731810             0 
5.33         72                  0        0         0       0 301722624           0          0 3035     3035 active+clean 2019-10-04 18:16:51.494775  660'6735 660:26097 [0,2,1]          0 [0,2,1]              0   660'6735 2019-10-04 18:16:51.492288        660'6735 2019-10-04 18:16:51.492288             0 
6.31          5                  0        0         0       0  20971520           0          0   10       10 active+clean 2019-10-04 18:10:47.303963    660'10   660:336 [2,0,1]          2 [2,0,1]              2     660'10 2019-10-04 18:10:47.303864          660'10 2019-10-04 18:10:47.303864             0 
5.32         63                  0        0         0       0 264032256           0          0 3039     3039 active+clean 2019-10-04 18:16:28.321976  660'3639  660:7351 [0,2,1]          0 [0,2,1]              0   660'3639 2019-10-04 18:16:28.321882        660'3639 2019-10-04 18:16:28.321882             0 
6.32          3                  0        0         0       0  12582912           0          0    6        6 active+clean 2019-10-04 18:08:39.228671     660'6   660:327 [2,1,0]          2 [2,1,0]              2      660'6 2019-10-04 18:08:39.228589           660'6 2019-10-04 18:08:39.228589             0 
5.31         69                  0        0         0       0 289107968           0          0 1699     1699 active+clean 2019-10-04 18:12:25.506245  660'1699  660:4959 [1,2,0]          1 [1,2,0]              1   660'1699 2019-10-04 18:12:25.506171        660'1699 2019-10-04 18:12:25.506171             0 
6.33          5                  0        0         0       0  20971520           0          0   10       10 active+clean 2019-10-04 18:09:15.190764    438'10   660:336 [2,1,0]          2 [2,1,0]              2     438'10 2019-10-04 18:09:15.190659          438'10 2019-10-04 18:09:15.190659             0 
5.30         61                  0        0         0       0 255599616           0          0 3052     3052 active+clean 2019-10-04 18:11:27.961642  660'4458  660:7077 [1,0,2]          1 [1,0,2]              1   660'4458 2019-10-04 18:11:27.961557        660'4458 2019-10-04 18:11:27.961557             0 
6.2c          5                  0        0         0       0  20971520           0          0   10       10 active+clean 2019-10-04 18:12:38.960323    660'10   660:442 [1,2,0]          1 [1,2,0]              1     660'10 2019-10-04 18:12:38.960218          660'10 2019-10-04 18:12:38.960218             0 
5.2f         63                  0        0         0       0 261967872           0          0 3070     3070 active+clean 2019-10-04 18:09:06.690550  660'5879 660:22868 [2,1,0]          2 [2,1,0]              2   660'5879 2019-10-04 18:09:06.690135        660'5879 2019-10-04 18:09:06.690135             0 
6.2d          6                  0        0         0       0  25165824           0          0   12       12 active+clean 2019-10-04 18:13:19.118768    438'12   660:551 [0,2,1]          0 [0,2,1]              0     438'12 2019-10-04 18:13:19.118469          438'12 2019-09-28 07:49:57.720833             0 
5.2e         62                  0        0         0       0 259802624           0          0 1908     1908 active+clean 2019-10-04 18:16:42.385477  660'1908  660:4299 [0,2,1]          0 [0,2,1]              0   660'1908 2019-10-04 18:16:42.385333        660'1908 2019-10-04 18:16:42.385333             0 
6.2e          5                  0        0         0       0  20971520           0          0   10       10 active+clean 2019-10-04 18:12:21.294587    660'10   660:445 [1,2,0]          1 [1,2,0]              1     660'10 2019-10-04 18:12:21.294494          660'10 2019-10-04 18:12:21.294494             0 
5.2d         67                  0        0         0       0 280757760           0          0 1303     1303 active+clean 2019-10-04 18:05:09.540374  649'1303  659:2672 [0,2,1]          0 [0,2,1]              0    405'453 2019-09-28 07:49:45.534539             0'0 2019-09-21 09:54:01.378568             0 
6.2f          4                  0        0         0       0  16777216           0          0    9        9 active+clean 2019-10-04 18:09:47.198899     660'9   660:443 [1,2,0]          1 [1,2,0]              1      660'9 2019-10-04 18:09:47.198810           660'9 2019-10-04 18:09:47.198810             0 
5.2c         55                  0        0         0       0 230443008           0          0 3078     3078 active+clean 2019-10-04 18:15:49.092377  660'3878  660:7177 [0,2,1]          0 [0,2,1]              0   660'3878 2019-10-04 18:15:49.091925        660'3878 2019-10-04 18:15:49.091925             0 
6.28          2                  0        0         0       0   8388608           0          0    5        5 active+clean 2019-10-04 18:05:09.367671     420'5   659:527 [0,1,2]          0 [0,1,2]              0      420'5 2019-09-28 07:51:16.566302           420'5 2019-09-23 06:41:45.859438             0 
5.2b         56                  0        0         0       0 234727936           0          0 2433     2433 active+clean 2019-10-04 18:09:26.746024  660'2433 660:27034 [1,0,2]          1 [1,0,2]              1   660'2433 2019-10-04 18:09:26.745940        660'2433 2019-10-04 18:09:26.745940             0 
6.29          8                  0        0         0       0  33554432           0          0   16       16 active+clean 2019-10-04 18:08:07.798087    660'16   660:450 [1,2,0]          1 [1,2,0]              1     660'16 2019-10-04 18:08:07.797743          660'16 2019-10-04 18:08:07.797743             0 
5.2a         64                  0        0         0       0 268215296           0          0 3002     3002 active+clean 2019-10-04 18:12:37.297247  660'4302  660:5160 [1,0,2]          1 [1,0,2]              1   660'4302 2019-10-04 18:12:37.297174        660'4302 2019-10-04 18:12:37.297174             0 
6.2a          7                  0        0         0       0  29360128           0          0   14       14 active+clean 2019-10-04 18:10:41.450574    660'14   660:345 [2,1,0]          2 [2,1,0]              2     660'14 2019-10-04 18:10:41.450498          660'14 2019-10-04 18:10:41.450498             0 
5.29         70                  0        0         0       0 293352448           0          0 3081     3081 active+clean 2019-10-04 18:15:20.494623  660'6281 660:12490 [0,1,2]          0 [0,1,2]              0   660'6281 2019-10-04 18:15:20.494548        660'6281 2019-10-04 18:15:20.494548             0 
6.2b          9                  0        0         0       0  37748736           0          0   18       18 active+clean 2019-10-04 18:08:03.907290    660'18   660:452 [1,0,2]          1 [1,0,2]              1     660'18 2019-10-04 18:08:03.904610          660'18 2019-10-04 18:08:03.904610             0 
5.28         53                  0        0         0       0 217916416          75          8 3034     3034 active+clean 2019-10-04 18:09:58.620936 660'13158 660:43753 [2,0,1]          2 [2,0,1]              2  660'13158 2019-10-04 18:09:58.620640       660'13158 2019-10-04 18:09:58.620640             0 
5.27         63                  0        0         0       0 259746338           0          0 3075     3075 active+clean 2019-10-04 18:07:32.258464  660'4832  660:6776 [2,1,0]          2 [2,1,0]              2   660'4832 2019-10-04 18:07:32.257860        660'4832 2019-10-04 18:07:32.257860             0 
6.24          6                  0        0         0       0  25165824           0          0   12       12 active+clean 2019-10-04 18:11:01.961208    420'12   660:344 [2,0,1]          2 [2,0,1]              2     420'12 2019-10-04 18:11:01.961086          420'12 2019-09-28 07:51:42.157696             0 
5.26         53                  0        0         0       0 222108160           0          0 2285     2285 active+clean 2019-10-04 18:09:53.766661  660'2285  660:4167 [2,0,1]          2 [2,0,1]              2   660'2285 2019-10-04 18:09:53.766507        660'2285 2019-10-04 18:09:53.766507             0 
6.25          9                  0        0         0       0  37748736           0          0   19       19 active+clean 2019-10-04 18:10:05.277923    660'19   660:456 [1,2,0]          1 [1,2,0]              1     660'19 2019-10-04 18:10:05.277676          660'19 2019-10-04 18:10:05.277676             0 
6.26         12                  0        0         0       0  50331648           0          0   24       24 active+clean 2019-10-04 18:09:30.383816    420'24   660:358 [2,1,0]          2 [2,1,0]              2     420'24 2019-10-04 18:09:30.383659          420'24 2019-10-04 18:09:30.383659             0 
5.25         64                  0        0         0       0 268214784           0          0 3060     3060 active+clean 2019-10-04 18:15:55.141512  660'3060  660:6528 [0,1,2]          0 [0,1,2]              0   660'3060 2019-10-04 18:15:55.141421        660'3060 2019-10-04 18:15:55.141421             0 
6.27          6                  0        0         0       0  25165824           0          0   13       13 active+clean 2019-10-04 18:12:05.151072    438'13   660:446 [1,2,0]          1 [1,2,0]              1     438'13 2019-10-04 18:12:05.150536          438'13 2019-09-28 07:50:45.545757             0 
5.24         70                  0        0         0       0 293356544           0          0 3066     3066 active+clean 2019-10-04 18:09:05.936678  660'3966  660:7261 [2,0,1]          2 [2,0,1]              2   660'3966 2019-10-04 18:09:05.936605        660'3966 2019-10-04 18:09:05.936605             0 
8.2          94                  0        0         0       0 394128384           0          0  367      367 active+clean 2019-10-04 18:11:17.301382   660'367   660:404 [2,0,1]          2 [2,0,1]              2    660'367 2019-10-04 18:11:17.301287         660'367 2019-10-04 18:11:17.301287             0 
7.d           2                  0        0         0       0        70           0          0    6        6 active+clean 2019-10-04 18:12:45.690932     660'6   660:447 [1,0,2]          1 [1,0,2]              1      660'6 2019-10-04 18:12:45.689820           660'6 2019-10-04 18:12:45.689820             0 
5.f          67                  0        0         0       0 280770048           0          0 2098     2098 active+clean 2019-10-04 18:11:56.975867  660'2098  660:3671 [1,2,0]          1 [1,2,0]              1   660'2098 2019-10-04 18:11:56.975665        660'2098 2019-10-04 18:11:56.975665             0 
6.c           4                  0        0         0       0  16777216           0          0    8        8 active+clean 2019-10-04 18:15:21.787587     660'8   660:545 [0,1,2]          0 [0,1,2]              0      660'8 2019-10-04 18:15:21.787375           660'8 2019-10-04 18:15:21.787375             0 
8.3         102                  0        0         0       0 427608064           0          0  382      382 active+clean 2019-10-04 18:11:21.927880   649'382   660:417 [2,0,1]          2 [2,0,1]              2    649'382 2019-10-04 18:11:21.927799             0'0 2019-09-28 19:37:32.034006             0 
7.c           1                  0        0         0       0         0           0          0    3        3 active+clean 2019-10-04 18:10:55.049367     660'3   660:437 [1,0,2]          1 [1,0,2]              1      660'3 2019-10-04 18:10:55.049298           660'3 2019-10-04 18:10:55.049298             0 
5.e          62                  0        0         0       0 259824128           0          0 2268     2268 active+clean 2019-10-04 18:08:16.820679  660'2268  660:4512 [2,0,1]          2 [2,0,1]              2   660'2268 2019-10-04 18:08:16.820327        660'2268 2019-10-04 18:08:16.820327             0 
6.d           9                  0        0         0       0  34307161           0          0   18       18 active+clean 2019-10-04 18:12:14.357988    420'18   660:451 [1,0,2]          1 [1,0,2]              1     420'18 2019-10-04 18:12:14.357493          420'18 2019-10-04 18:12:14.357493             0 
8.0          97                  0        0         0       0 406700544           0          0  280      280 active+clean 2019-10-04 18:05:09.330922   649'280   659:318 [0,1,2]          0 [0,1,2]              0        0'0 2019-09-28 19:37:32.034006             0'0 2019-09-28 19:37:32.034006             0 
7.f           3                  0        0         0       0       566           0          0   18       18 active+clean 2019-10-04 18:15:57.637166    660'18   660:568 [0,2,1]          0 [0,2,1]              0     660'18 2019-10-04 18:15:57.636895          660'18 2019-10-04 18:15:57.636895             0 
5.d          62                  0        0         0       0 259836416           0          0 2216     2216 active+clean 2019-10-04 18:07:36.501345  660'2216  660:4555 [2,1,0]          2 [2,1,0]              2   660'2216 2019-10-04 18:07:36.501281        660'2216 2019-10-04 18:07:36.501281             0 
6.e           7                  0        0         0       0  29360128           0          0   14       14 active+clean 2019-10-04 18:12:20.275986    660'14   660:446 [1,0,2]          1 [1,0,2]              1     660'14 2019-10-04 18:12:20.275911          660'14 2019-10-04 18:12:20.275911             0 
8.1          80                  0        0         0       0 330449920           0          0  318      318 active+clean 2019-10-04 18:05:09.389630   649'318   659:356 [0,2,1]          0 [0,2,1]              0        0'0 2019-09-28 19:37:32.034006             0'0 2019-09-28 19:37:32.034006             0 
7.e           1                  0        0         0       0         0           0          0   14       14 active+clean 2019-10-04 18:15:12.502770    659'14   660:545 [0,2,1]          0 [0,2,1]              0     659'14 2019-10-04 18:15:12.501585          438'10 2019-09-28 07:52:41.855248             0 
5.c          57                  0        0         0       0 238457344           0          0 1115     1115 active+clean 2019-10-04 18:05:09.497586  641'1115  659:2802 [0,1,2]          0 [0,1,2]              0    420'662 2019-09-28 07:50:18.810392         420'662 2019-09-28 07:50:18.810392             0 
6.f           5                  0        0         0       0  20971520           0          0    7        7 active+clean 2019-10-04 18:05:09.353701     344'7   659:540 [0,2,1]          0 [0,2,1]              0      344'7 2019-09-28 07:50:44.602762             0'0 2019-09-21 19:26:11.720726             0 
8.6          94                  0        0         0       0 391963136           0          0  833      833 active+clean 2019-10-04 18:11:17.974088   649'833   660:871 [2,1,0]          2 [2,1,0]              2    649'833 2019-10-04 18:11:17.973676             0'0 2019-09-28 19:37:32.034006             0 
7.9           0                  0        0         0       0         0           0          0    0        0 active+clean 2019-10-04 18:12:57.177130       0'0   660:518 [0,2,1]          0 [0,2,1]              0        0'0 2019-10-04 18:12:57.176901             0'0 2019-10-04 18:12:57.176901             0 
5.b          60                  0        0         0       0 249182208           0          0 1323     1323 active+clean 2019-10-04 18:10:39.386798  660'1323  660:3145 [2,0,1]          2 [2,0,1]              2   660'1323 2019-10-04 18:10:39.386182        660'1323 2019-10-04 18:10:39.386182             0 
6.8           1                  0        0         0       0   4194304           0          0    2        2 active+clean 2019-10-04 18:09:49.083912     660'2   660:437 [1,2,0]          1 [1,2,0]              1      660'2 2019-10-04 18:09:49.083480           660'2 2019-10-04 18:09:49.083480             0 
8.7          74                  0        0         0       0 301151266           0          0 1756     1756 active+clean 2019-10-04 18:05:09.532828  649'1756  659:2065 [0,2,1]          0 [0,2,1]              0        0'0 2019-09-28 19:37:32.034006             0'0 2019-09-28 19:37:32.034006             0 
7.8           0                  0        0         0       0         0           0          0    0        0 active+clean 2019-10-04 18:15:59.660379       0'0   660:516 [0,1,2]          0 [0,1,2]              0        0'0 2019-10-04 18:15:59.660253             0'0 2019-09-28 07:52:12.797727             0 
5.a          58                  0        0         0       0 243061248           0          0 1489     1489 active+clean 2019-10-04 18:15:19.155905  660'1489 660:15786 [0,2,1]          0 [0,2,1]              0   660'1489 2019-10-04 18:15:19.155824        660'1489 2019-10-04 18:15:19.155824             0 
6.9           4                  0        0         0       0  16777216           0          0   11       11 active+clean 2019-10-04 18:16:06.923928    420'11   660:552 [0,2,1]          0 [0,2,1]              0     420'11 2019-10-04 18:16:06.923851          420'11 2019-10-04 18:16:06.923851             0 
8.4          83                  0        0         0       0 344494080           0          0  247      247 active+clean 2019-10-04 18:13:07.805318   649'247   660:288 [1,2,0]          1 [1,2,0]              1    649'247 2019-10-04 18:13:07.804985             0'0 2019-09-28 19:37:32.034006             0 
7.b           1                  0        0         0       0         0           0          0   25       25 active+clean 2019-10-04 18:13:27.058167    659'25   660:557 [0,1,2]          0 [0,1,2]              0     659'25 2019-10-04 18:13:27.058100          438'17 2019-09-28 07:51:06.699403             0 
5.9          76                  0        0         0       0 318517248           0          0 3012     3012 active+clean 2019-10-04 18:11:23.183562  660'4999 660:22119 [1,2,0]          1 [1,2,0]              1   660'4999 2019-10-04 18:11:23.183419        660'4999 2019-10-04 18:11:23.183419             0 
6.a           5                  0        0         0       0  20971520           0          0   11       11 active+clean 2019-10-04 18:12:57.871389    660'11   660:444 [1,0,2]          1 [1,0,2]              1     660'11 2019-10-04 18:12:57.871316          660'11 2019-10-04 18:12:57.871316             0 
8.5         102                  0        0         0       0 427428352           0          0  329      329 active+clean 2019-10-04 18:11:10.969619   649'329   660:366 [2,1,0]          2 [2,1,0]              2    649'329 2019-10-04 18:11:10.969511             0'0 2019-09-28 19:37:32.034006             0 
7.a           0                  0        0         0       0         0           0          0   11       11 active+clean 2019-10-04 18:07:47.010205    659'11   660:332 [2,0,1]          2 [2,0,1]              2     659'11 2019-10-04 18:07:47.010055          659'11 2019-10-04 18:07:47.010055             0 
5.8          55                  0        0         0       0 230464512           0          0 3014     3014 active+clean 2019-10-04 18:10:55.043611  649'9804 660:38635 [2,0,1]          2 [2,0,1]              2   649'9804 2019-10-04 18:10:55.041838        438'2837 2019-09-28 07:51:50.041817             0 
6.b           4                  0        0         0       0  16777216           0          0    4        4 active+clean 2019-10-04 18:05:09.385999     344'4   659:535 [0,1,2]          0 [0,1,2]              0      344'4 2019-09-28 07:51:11.614469             0'0 2019-09-21 19:26:11.720726             0 
8.a          77                  0        0         0       0 314838035           0          0  336      336 active+clean 2019-10-04 18:11:03.990539   649'336   660:416 [2,0,1]          2 [2,0,1]              2    649'336 2019-10-04 18:11:03.990473             0'0 2019-09-28 19:37:32.034006             0 
7.5           2                  0        0         0       0        90           0          0    8        8 active+clean 2019-10-04 18:10:29.032007     660'8   660:344 [2,0,1]          2 [2,0,1]              2      660'8 2019-10-04 18:10:29.031400           660'8 2019-10-04 18:10:29.031400             0 
5.7          73                  0        0         0       0 305949696           0          0 3077     3077 active+clean 2019-10-04 18:10:18.613060  660'5177  660:7227 [1,0,2]          1 [1,0,2]              1   660'5177 2019-10-04 18:10:18.612914        660'5177 2019-10-04 18:10:18.612914             0 
6.4           3                  0        0         0       0  12582912           0          0    6        6 active+clean 2019-10-04 18:15:39.501185     438'6   660:536 [0,1,2]          0 [0,1,2]              0      438'6 2019-10-04 18:15:39.501089           438'6 2019-09-28 07:51:24.800521             0 
5.22         59                  0        0         0       0 247249408           0          0 1180     1180 active+clean 2019-10-04 18:10:40.140374  641'1180  660:3843 [2,1,0]          2 [2,1,0]              2   641'1180 2019-10-04 18:10:40.139670         438'494 2019-09-28 07:51:40.127811             0 
6.21          3                  0        0         0       0  12582912           0          0    6        6 active+clean 2019-10-04 18:09:45.272949     660'6   660:331 [2,0,1]          2 [2,0,1]              2      660'6 2019-10-04 18:09:45.272802           660'6 2019-10-04 18:09:45.272802             0 
8.b          89                  0        0         0       0 371096064           0          0  392      392 active+clean 2019-10-04 18:11:31.898728   649'392   660:430 [2,1,0]          2 [2,1,0]              2    649'392 2019-10-04 18:11:31.898485             0'0 2019-09-28 19:37:32.034006             0 
7.4           4                  0        0         0       0    305686           0          0  286      286 active+clean 2019-10-04 18:16:43.895611   660'286   660:909 [0,1,2]          0 [0,1,2]              0    660'286 2019-10-04 18:16:43.894917         660'286 2019-10-04 18:16:43.894917             0 
5.6          54                  0        0         0       0 226263040           0          0 1379     1379 active+clean 2019-10-04 18:05:09.383778  646'1379  659:3638 [0,1,2]          0 [0,1,2]              0    420'801 2019-09-28 07:50:23.696099         420'801 2019-09-23 06:39:10.253183             0 
6.5           7                  0        0         0       0  29360128           0          0   14       14 active+clean 2019-10-04 18:11:57.245339    438'14   660:448 [1,2,0]          1 [1,2,0]              1     438'14 2019-10-04 18:11:57.244759          438'14 2019-09-28 07:49:21.051205             0 
8.c          65                  0        0         0       0 268380672           0          0  272      272 active+clean 2019-10-04 18:11:08.995134   649'272   660:322 [2,0,1]          2 [2,0,1]              2    649'272 2019-10-04 18:11:08.995000             0'0 2019-09-28 19:37:32.034006             0 
7.3           2                  0        0         0       0        34       13860         30    4        4 active+clean 2019-10-04 18:16:42.843790     438'4   660:538 [0,1,2]          0 [0,1,2]              0      438'4 2019-10-04 18:16:42.843731           438'4 2019-09-28 07:50:57.778497             0 
5.1          52                  0        0         0       0 217843712           0          0 2196     2196 active+clean 2019-10-04 18:09:09.374761  660'2196  660:4338 [1,0,2]          1 [1,0,2]              1   660'2196 2019-10-04 18:09:09.374307        660'2196 2019-10-04 18:09:09.374307             0 
6.2           6                  0        0         0       0  25165824           0          0   12       12 active+clean 2019-10-04 18:11:50.441668    660'12   660:446 [1,0,2]          1 [1,0,2]              1     660'12 2019-10-04 18:11:50.441553          660'12 2019-10-04 18:11:50.441553             0 
8.d          83                  0        0         0       0 340717585           0          0  408      408 active+clean 2019-10-04 18:11:15.328277   660'408   660:484 [2,1,0]          2 [2,1,0]              2    660'408 2019-10-04 18:11:15.328196         660'408 2019-10-04 18:11:15.328196             0 
7.2           0                  0        0         0       0         0           0          0    0        0 active+clean 2019-10-04 18:15:44.586164       0'0   660:518 [0,2,1]          0 [0,2,1]              0        0'0 2019-10-04 18:15:44.586074             0'0 2019-10-04 18:15:44.586074             0 
5.0          66                  0        0         0       0 276503040           0          0 3004     3004 active+clean 2019-10-04 18:09:42.613337  660'5525  660:7229 [2,0,1]          2 [2,0,1]              2   660'5525 2019-10-04 18:09:42.613245        660'5525 2019-10-04 18:09:42.613245             0 
6.3           6                  0        0         0       0  25165824           0          0   12       12 active+clean 2019-10-04 18:10:14.288103    660'12   660:444 [1,2,0]          1 [1,2,0]              1     660'12 2019-10-04 18:10:14.287781          660'12 2019-10-04 18:10:14.287781             0 
8.f          84                  0        0         0       0 351198208           0          0  351      351 active+clean 2019-10-04 18:11:33.893202   660'351   660:388 [2,0,1]          2 [2,0,1]              2    660'351 2019-10-04 18:11:33.892463         660'351 2019-10-04 18:11:33.892463             0 
7.0           4                  0        0         0       0         0           0          0   12       12 active+clean 2019-10-04 18:09:11.786685    660'12   660:460 [1,2,0]          1 [1,2,0]              1     660'12 2019-10-04 18:09:11.786611          660'12 2019-10-04 18:09:11.786611             0 
5.2          66                  0        0         0       0 276603392           0          0 3079     3079 active+clean 2019-10-04 18:08:05.019298  660'3379 660:11841 [1,0,2]          1 [1,0,2]              1   660'3379 2019-10-04 18:08:05.018746        660'3379 2019-10-04 18:08:05.018746             0 
6.1           6                  0        0         0       0  25165824           0          0   12       12 active+clean 2019-10-04 18:10:50.191345    420'12   660:339 [2,1,0]          2 [2,1,0]              2     420'12 2019-10-04 18:10:50.190942          420'12 2019-10-04 18:10:50.190942             0 
5.4a         55                  0        0         0       0 230295040           0          0 2549     2549 active+clean 2019-10-04 18:15:41.139573  660'2549  660:5105 [0,2,1]          0 [0,2,1]              0   660'2549 2019-10-04 18:15:41.137262        660'2549 2019-10-04 18:15:41.137262             0 
8.8          88                  0        0         0       0 369047040           0          0  350      350 active+clean 2019-10-04 18:13:12.845985   660'350   660:391 [1,0,2]          1 [1,0,2]              1    660'350 2019-10-04 18:13:12.845887         660'350 2019-10-04 18:13:12.845887             0 
7.7           1                  0        0         0       0         0           0          0    4        4 active+clean 2019-10-04 18:10:11.981289     660'4   660:438 [1,2,0]          1 [1,2,0]              1      660'4 2019-10-04 18:10:11.981223           660'4 2019-10-04 18:10:11.981223             0 
5.5          53                  0        0         0       0 219116544           0          0 1195     1195 active+clean 2019-10-04 18:15:51.150629  660'1195  660:2889 [0,1,2]          0 [0,1,2]              0   660'1195 2019-10-04 18:15:51.150561        660'1195 2019-10-04 18:15:51.150561             0 
6.6           9                  0        0         0       0  37748736           0          0   18       18 active+clean 2019-10-04 18:15:53.042980    660'18   660:566 [0,1,2]          0 [0,1,2]              0     660'18 2019-10-04 18:15:53.042849          660'18 2019-10-04 18:15:53.042849             0 
5.20         78                  0        0         0       0 326895104           0          0 1348     1348 active+clean 2019-10-04 18:08:10.114479  660'1348  660:2227 [2,1,0]          2 [2,1,0]              2   660'1348 2019-10-04 18:08:10.114398        660'1348 2019-10-04 18:08:10.114398             0 
6.23          7                  0        0         0       0  29360128           0          0   14       14 active+clean 2019-10-04 18:12:31.228661    420'14   660:447 [1,0,2]          1 [1,0,2]              1     420'14 2019-10-04 18:12:31.228581          420'14 2019-10-04 18:12:31.228581             0 
8.e          85                  0        0         0       0 354189312           0          0  322      322 active+clean 2019-10-04 18:05:09.359586   649'322   659:361 [0,1,2]          0 [0,1,2]              0        0'0 2019-09-28 19:37:32.034006             0'0 2019-09-28 19:37:32.034006             0 
7.1           1                  0        0         0       0       202           0          0    3        3 active+clean 2019-10-04 18:10:56.074002     660'3   660:439 [1,2,0]          1 [1,2,0]              1      660'3 2019-10-04 18:10:56.073904           660'3 2019-10-04 18:10:56.073904             0 
5.3          78                  0        0         0       0 326876160           0          0 1811     1811 active+clean 2019-10-04 18:05:09.501191  649'1811  659:5340 [0,1,2]          0 [0,1,2]              0    405'832 2019-09-28 07:49:01.526011             0'0 2019-09-21 09:54:01.378568             0 
6.0           9                  0        0         0       0  37748736           0          0   18       18 active+clean 2019-10-04 18:13:47.298138    660'18   660:571 [0,1,2]          0 [0,1,2]              0     660'18 2019-10-04 18:13:47.298061          660'18 2019-10-04 18:13:47.298061             0 
8.9         112                  0        0         0       0 466683392           0          0  350      350 active+clean 2019-10-04 18:11:30.879781   649'350   660:387 [2,1,0]          2 [2,1,0]              2    649'350 2019-10-04 18:11:30.879601             0'0 2019-09-28 19:37:32.034006             0 
7.6           1                  0        0         0       0         0          78          2   32       32 active+clean 2019-10-04 18:16:11.749990    660'32   660:585 [0,1,2]          0 [0,1,2]              0     660'32 2019-10-04 18:16:11.749616          660'32 2019-10-04 18:16:11.749616             0 
5.4          76                  0        0         0       0 315570176           0          0 2296     2296 active+clean 2019-10-04 18:08:49.775831  660'2296  660:3153 [2,0,1]          2 [2,0,1]              2   660'2296 2019-10-04 18:08:49.774810        660'2296 2019-10-04 18:08:49.774810             0 
6.7           4                  0        0         0       0  16777216           0          0    8        8 active+clean 2019-10-04 18:09:27.125818     660'8   660:442 [1,0,2]          1 [1,0,2]              1      660'8 2019-10-04 18:09:27.125213           660'8 2019-10-04 18:09:27.125213             0 
5.23         73                  0        0         0       0 301702656           0          0 1131     1131 active+clean 2019-10-04 18:08:17.681984  660'1131  660:2776 [2,0,1]          2 [2,0,1]              2   660'1131 2019-10-04 18:08:17.681908        660'1131 2019-10-04 18:08:17.681908             0 
6.20          7                  0        0         0       0  29360128           0          0   14       14 active+clean 2019-10-04 18:13:55.259300    660'14   660:557 [0,2,1]          0 [0,2,1]              0     660'14 2019-10-04 18:13:55.259209          660'14 2019-10-04 18:13:55.259209             0 
5.10         65                  0        0         0       0 261675537          75          8 2516     2516 active+clean 2019-10-04 18:11:19.773373  660'2516 660:12613 [1,2,0]          1 [1,2,0]              1   660'2516 2019-10-04 18:11:19.773309        660'2516 2019-10-04 18:11:19.773309             0 
6.13          8                  0        0         0       0  33554432           0          0   16       16 active+clean 2019-10-04 18:15:32.944730    660'16   660:561 [0,2,1]          0 [0,2,1]              0     660'16 2019-10-04 18:15:32.944659          660'16 2019-10-04 18:15:32.944659             0 
5.11         53                  0        0         0       0 222040576           0          0  801      801 active+clean 2019-10-04 18:12:33.353591   660'801  660:1836 [1,2,0]          1 [1,2,0]              1    660'801 2019-10-04 18:12:33.353507         660'801 2019-10-04 18:12:33.353507             0 
6.12          4                  0        0         0       0  16777216           0          0    8        8 active+clean 2019-10-04 18:08:22.316506     438'8   660:334 [2,1,0]          2 [2,1,0]              2      438'8 2019-10-04 18:08:22.316383           438'8 2019-10-04 18:08:22.316383             0 
5.12         55                  0        0         0       0 230492160           0          0 1521     1521 active+clean 2019-10-04 18:09:33.472903  660'1521  660:2653 [2,1,0]          2 [2,1,0]              2   660'1521 2019-10-04 18:09:33.472827        660'1521 2019-10-04 18:09:33.472827             0 
6.11          8                  0        0         0       0  33554432           0          0   16       16 active+clean 2019-10-04 18:13:36.008883    438'16   660:563 [0,2,1]          0 [0,2,1]              0     438'16 2019-10-04 18:13:36.008590          438'16 2019-09-28 07:49:56.818570             0 
5.13         62                  0        0         0       0 259597312           0          0 2038     2038 active+clean 2019-10-04 18:07:57.578459  660'2038  660:3650 [2,0,1]          2 [2,0,1]              2   660'2038 2019-10-04 18:07:57.578339        660'2038 2019-10-04 18:07:57.578339             0 
6.10          4                  0        0         0       0  16777216           0          0    8        8 active+clean 2019-10-04 18:15:26.747346     660'8   660:537 [0,2,1]          0 [0,2,1]              0      660'8 2019-10-04 18:15:26.747263           660'8 2019-10-04 18:15:26.747263             0 
5.14         67                  0        0         0       0 280715264           0          0 3089     3089 active+clean 2019-10-04 18:13:35.813296  660'3789  660:6651 [0,2,1]          0 [0,2,1]              0   660'3789 2019-10-04 18:13:35.813175        660'3789 2019-10-04 18:13:35.813175             0 
6.17          4                  0        0         0       0  16777216           0          0    8        8 active+clean 2019-10-04 18:08:46.419210     660'8   660:338 [2,0,1]          2 [2,0,1]              2      660'8 2019-10-04 18:08:46.418566           660'8 2019-10-04 18:08:46.418566             0 
5.15         79                  0        0         0       0 330992640           0          0 2266     2266 active+clean 2019-10-04 18:10:09.033532  660'2266  660:3997 [1,0,2]          1 [1,0,2]              1   660'2266 2019-10-04 18:10:09.033418        660'2266 2019-10-04 18:10:09.033418             0 
6.16          5                  0        0         0       0  20971520           0          0   11       11 active+clean 2019-10-04 18:16:36.985156    420'11   660:551 [0,1,2]          0 [0,1,2]              0     420'11 2019-10-04 18:16:36.984585          420'11 2019-10-04 18:16:36.984585             0 
5.16         72                  0        0         0       0 301704704           0          0 3048     3048 active+clean 2019-10-04 18:09:04.601508  660'8004 660:17043 [1,0,2]          1 [1,0,2]              1   660'8004 2019-10-04 18:09:04.601359        660'8004 2019-10-04 18:09:04.601359             0 
6.15          5                  0        0         0       0  20971520           0          0   10       10 active+clean 2019-10-04 18:12:09.335328    660'10   660:442 [1,2,0]          1 [1,2,0]              1     660'10 2019-10-04 18:12:09.335229          660'10 2019-10-04 18:12:09.335229             0 
5.17         68                  0        0         0       0 284973568           0          0 3049     3049 active+clean 2019-10-04 18:05:09.538332  649'8049 659:12634 [0,2,1]          0 [0,2,1]              0   405'2288 2019-09-28 07:50:32.605518             0'0 2019-09-21 09:54:01.378568             0 
6.14          8                  0        0         0       0  33554432           0          0   17       17 active+clean 2019-10-04 18:13:23.403684    660'17   660:563 [0,1,2]          0 [0,1,2]              0     660'17 2019-10-04 18:13:23.403591          660'17 2019-10-04 18:13:23.403591             0 
5.18         59                  0        0         0       0 247248384           0          0 1728     1728 active+clean 2019-10-04 18:13:03.628546  660'1728  660:3571 [1,2,0]          1 [1,2,0]              1   660'1728 2019-10-04 18:13:03.628461        660'1728 2019-10-04 18:13:03.628461             0 
6.1b          7                  0        0         0       0  29360128           0          0   14       14 active+clean 2019-10-04 18:10:24.305759    660'14   660:339 [2,1,0]          2 [2,1,0]              2     660'14 2019-10-04 18:10:24.305671          660'14 2019-10-04 18:10:24.305671             0 
5.19         57                  0        0         0       0 238823424           0          0 2885     2885 active+clean 2019-10-04 18:16:30.136145  660'2885  660:4618 [0,1,2]          0 [0,1,2]              0   660'2885 2019-10-04 18:16:30.136059        660'2885 2019-10-04 18:16:30.136059             0 
6.1a         11                  0        0         0       0  46137344           0          0   22       22 active+clean 2019-10-04 18:12:13.533931    660'22   660:454 [1,2,0]          1 [1,2,0]              1     660'22 2019-10-04 18:12:13.533842          660'22 2019-10-04 18:12:13.533842             0 
5.1a         62                  0        0         0       0 259822080           0          0 3019     3019 active+clean 2019-10-04 18:09:51.884903  660'4119  660:5327 [2,1,0]          2 [2,1,0]              2   660'4119 2019-10-04 18:09:51.884465        660'4119 2019-10-04 18:09:51.884465             0 
6.19          5                  0        0         0       0  20971520           0          0   10       10 active+clean 2019-10-04 18:09:25.181946    660'10   660:445 [1,0,2]          1 [1,0,2]              1     660'10 2019-10-04 18:09:25.181450          660'10 2019-10-04 18:09:25.181450             0 
5.1b         68                  0        0         0       0 284966912           0          0 1335     1335 active+clean 2019-10-04 18:09:20.116877  660'1335  660:2538 [1,0,2]          1 [1,0,2]              1   660'1335 2019-10-04 18:09:20.116788        660'1335 2019-10-04 18:09:20.116788             0 
6.18         11                  0        0         0       0  46137344           0          0   12       12 active+clean 2019-10-04 18:05:09.532357    344'12   659:558 [0,1,2]          0 [0,1,2]              0     344'12 2019-09-28 07:51:53.631740             0'0 2019-09-21 19:26:11.720726             0 
5.1c         77                  0        0         0       0 314995200         102          6 2529     2529 active+clean 2019-10-04 18:12:22.127432  649'2529  660:6211 [1,2,0]          1 [1,2,0]              1   649'2529 2019-10-04 18:12:22.126858        438'1574 2019-09-28 07:50:15.708077             0 
6.1f          6                  0        0         0       0  25165824           0          0   12       12 active+clean 2019-10-04 18:13:51.284177    660'12   660:557 [0,2,1]          0 [0,2,1]              0     660'12 2019-10-04 18:13:51.284094          660'12 2019-10-04 18:13:51.284094             0 
5.1d         66                  0        0         0       0 276578816           0          0 2188     2188 active+clean 2019-10-04 18:17:09.440542  660'2188  660:4058 [0,1,2]          0 [0,1,2]              0   660'2188 2019-10-04 18:17:09.440388        660'2188 2019-10-04 18:17:09.440388             0 
6.1e          4                  0        0         0       0  16777216           0          0    8        8 active+clean 2019-10-04 18:08:19.330653     660'8   660:331 [2,1,0]          2 [2,1,0]              2      660'8 2019-10-04 18:08:19.330581           660'8 2019-10-04 18:08:19.330581             0 
5.1e         76                  0        0         0       0 318028800           0          0 3060     3060 active+clean 2019-10-04 18:05:09.539894  649'4660  659:7515 [0,1,2]          0 [0,1,2]              0   405'2374 2019-09-28 07:51:40.650833             0'0 2019-09-21 09:54:01.378568             0 
6.1d         10                  0        0         0       0  37751178           0          0   11       11 active+clean 2019-10-04 18:05:09.338018    420'11   659:555 [0,2,1]          0 [0,2,1]              0     420'11 2019-09-28 07:50:31.590890             0'0 2019-09-21 19:26:11.720726             0 
5.1f         59                  0        0         0       0 247285760           0          0 3005     3005 active+clean 2019-10-04 18:09:24.860928  660'3905  660:5213 [1,2,0]          1 [1,2,0]              1   660'3905 2019-10-04 18:09:24.860850        660'3905 2019-10-04 18:09:24.860850             0 
6.1c          8                  0        0         0       0  33554432           0          0   16       16 active+clean 2019-10-04 18:10:07.325218    420'16   660:345 [2,0,1]          2 [2,0,1]              2     420'16 2019-10-04 18:10:07.325133          420'16 2019-10-04 18:10:07.325133             0 
5.21         60                  0        0         0       0 245788160           0          0 3040     3040 active+clean 2019-10-04 18:13:05.803303  649'4340 660:10367 [1,0,2]          1 [1,0,2]              1   649'4340 2019-10-04 18:13:05.803120        438'2146 2019-09-28 07:49:03.900924             0 
6.22          6                  0        0         0       0  25165824           0          0   12       12 active+clean 2019-10-04 18:09:59.313539    660'12   660:340 [2,0,1]          2 [2,0,1]              2     660'12 2019-10-04 18:09:59.313111          660'12 2019-10-04 18:09:59.313111             0 
5.4e         70                  0        0         0       0 293342720           0          0 2426     2426 active+clean 2019-10-04 18:08:08.329628  649'2426  660:4458 [2,0,1]          2 [2,0,1]              2   649'2426 2019-10-04 18:08:08.323438        438'1721 2019-09-28 07:50:10.350061             0 
5.4f         65                  0        0         0       0 268213265           0          0 2482     2482 active+clean 2019-10-04 18:11:20.835814  660'2482  660:8768 [1,2,0]          1 [1,2,0]              1   660'2482 2019-10-04 18:11:20.835697        660'2482 2019-10-04 18:11:20.835697             0 
5.50         57                  0        0         0       0 238850560           0          0 1069     1069 active+clean 2019-10-04 18:10:36.027655  641'1069  660:1969 [2,1,0]          2 [2,1,0]              2   641'1069 2019-10-04 18:10:36.027434         438'642 2019-09-28 07:49:06.047968             0 
5.51         65                  0        0         0       0 272390144           0          0 3085     3085 active+clean 2019-10-04 18:05:09.370873  649'4385  659:8511 [0,1,2]          0 [0,1,2]              0   405'1517 2019-09-28 07:52:17.827007             0'0 2019-09-21 09:54:01.378568             0 
5.52         61                  0        0         0       0 255560704           0          0  975      975 active+clean 2019-10-04 18:08:05.744962   660'975  660:1808 [2,0,1]          2 [2,0,1]              2    660'975 2019-10-04 18:08:05.744768         660'975 2019-10-04 18:08:05.744768             0 
5.53         74                  0        0         0       0 305931776          75          8 3068     3068 active+clean 2019-10-04 18:10:22.881576  660'9504 660:53276 [2,1,0]          2 [2,1,0]              2   660'9504 2019-10-04 18:10:22.881500        660'9504 2019-10-04 18:10:22.881500             0 
5.54         57                  0        0         0       0 238883328           0          0 3086     3086 active+clean 2019-10-04 18:13:29.760864 660'25886 660:30035 [0,2,1]          0 [0,2,1]              0  660'25886 2019-10-04 18:13:29.760440       660'25886 2019-10-04 18:13:29.760440             0 
5.55         70                  0        0         0       0 290407424           0          0 3077     3077 active+clean 2019-10-04 18:10:59.101472 660'12600 660:17180 [1,2,0]          1 [1,2,0]              1  660'12600 2019-10-04 18:10:59.101336       660'12600 2019-10-04 18:10:59.101336             0 
5.56         65                  0        0         0       0 272387584           0          0 3085     3085 active+clean 2019-10-04 18:13:43.501178  660'5785  660:7604 [0,1,2]          0 [0,1,2]              0   660'5785 2019-10-04 18:13:43.501084        660'5785 2019-10-04 18:13:43.501084             0 
5.57         63                  0        0         0       0 264007168           0          0 2602     2602 active+clean 2019-10-04 18:08:56.747453  660'2602  660:4697 [2,1,0]          2 [2,1,0]              2   660'2602 2019-10-04 18:08:56.747358        660'2602 2019-10-04 18:08:56.747358             0 
5.58         75                  0        0         0       0 314058752           0          0 3048     3048 active+clean 2019-10-04 18:09:13.213544  660'4148  660:7033 [2,1,0]          2 [2,1,0]              2   660'4148 2019-10-04 18:09:13.203532        660'4148 2019-10-04 18:09:13.203532             0 
5.59         60                  0        0         0       0 249188864           0          0 1329     1329 active+clean 2019-10-04 18:16:30.777740  641'1329  660:5207 [0,2,1]          0 [0,2,1]              0   641'1329 2019-10-04 18:16:30.777261         438'820 2019-09-28 07:50:37.724878             0 
5.5a         65                  0        0         0       0 272393216           0          0 1145     1145 active+clean 2019-10-04 18:09:21.921646  660'1145  660:3190 [2,0,1]          2 [2,0,1]              2   660'1145 2019-10-04 18:09:21.921557        660'1145 2019-10-04 18:09:21.921557             0 
5.5b         66                  0        0         0       0 276594176           0          0 3004     3004 active+clean 2019-10-04 18:08:38.299208  660'8518  660:9718 [2,1,0]          2 [2,1,0]              2   660'8518 2019-10-04 18:08:38.298534        660'8518 2019-10-04 18:08:38.298534             0 
5.5c         55                  0        0         0       0 226280578           0          0 2270     2270 active+clean 2019-10-04 18:07:34.366158  660'2270  660:5139 [2,1,0]          2 [2,1,0]              2   660'2270 2019-10-04 18:07:34.366067        660'2270 2019-10-04 18:07:34.366067             0 
5.5d         67                  0        0         0       0 280736256           0          0 2729     2729 active+clean 2019-10-04 18:16:27.378879  660'2729  660:4852 [0,2,1]          0 [0,2,1]              0   660'2729 2019-10-04 18:16:27.378822        660'2729 2019-10-04 18:16:27.378822             0 
5.5e         50                  0        0         0       0 209529344           0          0 2214     2214 active+clean 2019-10-04 18:12:19.565636  660'2214  660:4096 [1,0,2]          1 [1,0,2]              1   660'2214 2019-10-04 18:12:19.565553        660'2214 2019-10-04 18:12:19.565553             0 
5.5f         58                  0        0         0       0 242993152           0          0 3069     3069 active+clean 2019-10-04 18:10:15.520505  660'3669  660:6073 [1,0,2]          1 [1,0,2]              1   660'3669 2019-10-04 18:10:15.520413        660'3669 2019-10-04 18:10:15.520413             0 
5.60         85                  0        0         0       0 356239872           0          0 1014     1014 active+clean 2019-10-04 18:12:42.714282  640'1014  660:2183 [1,2,0]          1 [1,2,0]              1   640'1014 2019-10-04 18:12:42.713970         438'407 2019-09-28 07:48:45.562042             0 
5.61         72                  0        0         0       0 301688320           0          0 3095     3095 active+clean 2019-10-04 18:09:44.203049  660'8704 660:10666 [1,2,0]          1 [1,2,0]              1   660'8704 2019-10-04 18:09:44.202933        660'8704 2019-10-04 18:09:44.202933             0 
5.62         59                  0        0         0       0 247289344           0          0 1346     1346 active+clean 2019-10-04 18:08:57.713195  660'1346  660:2985 [2,0,1]          2 [2,0,1]              2   660'1346 2019-10-04 18:08:57.713098        660'1346 2019-10-04 18:08:57.713098             0 
5.63         86                  0        0         0       0 360245248           0          0 3057     3057 active+clean 2019-10-04 18:05:09.533792  649'5757 659:13243 [0,2,1]          0 [0,2,1]              0   405'3065 2019-09-28 07:51:56.557957             0'0 2019-09-21 09:54:01.378568             0 
5.64         71                  0        0         0       0 297522688           0          0 3001     3001 active+clean 2019-10-04 18:11:23.758078  660'3301  660:8008 [1,0,2]          1 [1,0,2]              1   660'3301 2019-10-04 18:11:23.757863        660'3301 2019-10-04 18:11:23.757863             0 
5.65         65                  0        0         0       0 272406016           0          0 3004     3004 active+clean 2019-10-04 18:13:44.741280  660'3704 660:25677 [0,2,1]          0 [0,2,1]              0   660'3704 2019-10-04 18:13:44.741119        660'3704 2019-10-04 18:13:44.741119             0 
5.66         41                  0        0         0       0 171797504           0          0 1881     1881 active+clean 2019-10-04 18:09:29.624697  660'1881  660:4605 [2,1,0]          2 [2,1,0]              2   660'1881 2019-10-04 18:09:29.624308        660'1881 2019-10-04 18:09:29.624308             0 
5.67         69                  0        0         0       0 289139712           0          0  877      877 active+clean 2019-10-04 18:12:30.209942   641'877  660:2092 [0,2,1]          0 [0,2,1]              0    641'877 2019-10-04 18:12:30.209848         438'424 2019-09-28 07:48:44.600309             0 
5.68         63                  0        0         0       0 263974400           0          0 3008     3008 active+clean 2019-10-04 18:13:07.440155 660'10549 660:13526 [1,2,0]          1 [1,2,0]              1  660'10549 2019-10-04 18:13:07.440046       660'10549 2019-10-04 18:13:07.440046             0 
5.69         77                  0        0         0       0 322637824           0          0 3006     3006 active+clean 2019-10-04 18:11:26.503993  660'9106 660:10159 [1,2,0]          1 [1,2,0]              1   660'9106 2019-10-04 18:11:26.503014        660'9106 2019-10-04 18:11:26.503014             0 
5.6a         71                  0        0         0       0 297541632           0          0 2286     2286 active+clean 2019-10-04 18:17:11.753642  660'2286  660:4731 [0,1,2]          0 [0,1,2]              0   660'2286 2019-10-04 18:17:11.753540        660'2286 2019-10-04 18:17:11.753540             0 
5.6b         52                  0        0         0       0 217889792           0          0 3028     3028 active+clean 2019-10-04 18:16:45.706494  660'3428  660:8840 [0,2,1]          0 [0,2,1]              0   660'3428 2019-10-04 18:16:45.706412        660'3428 2019-10-04 18:16:45.706412             0 
5.6c         51                  0        0         0       0 209523729           0          0 2530     2530 active+clean 2019-10-04 18:15:42.892141  660'2530  660:8918 [0,1,2]          0 [0,1,2]              0   660'2530 2019-10-04 18:15:42.891852        660'2530 2019-10-04 18:15:42.891852             0 
5.6d         51                  0        0         0       0 213731840           0          0 2654     2654 active+clean 2019-10-04 18:12:23.563622  660'2654  660:3946 [1,0,2]          1 [1,0,2]              1   660'2654 2019-10-04 18:12:23.563314        660'2654 2019-10-04 18:12:23.563314             0 
5.6e         69                  0        0         0       0 289183744           0          0 2880     2880 active+clean 2019-10-04 18:05:09.534681  641'2880 659:33426 [0,1,2]          0 [0,1,2]              0   438'1692 2019-09-28 07:51:12.777772        438'1692 2019-09-28 07:51:12.777772             0 
5.6f         59                  0        0         0       0 247218176           0          0 2730     2730 active+clean 2019-10-04 18:12:01.109457  660'2730  660:4412 [1,2,0]          1 [1,2,0]              1   660'2730 2019-10-04 18:12:01.108975        660'2730 2019-10-04 18:12:01.108975             0 
5.70         58                  0        0         0       0 243070976           0          0 3066     3066 active+clean 2019-10-04 18:08:34.650664  660'3266  660:5792 [2,0,1]          2 [2,0,1]              2   660'3266 2019-10-04 18:08:34.650567        660'3266 2019-10-04 18:08:34.650567             0 
5.71         67                  0        0         0       0 276908032           0          0 3059     3059 active+clean 2019-10-04 18:16:33.274555  660'3459  660:5598 [0,1,2]          0 [0,1,2]              0   660'3459 2019-10-04 18:16:33.274469        660'3459 2019-10-04 18:16:33.274469             0 
5.72         58                  0        0         0       0 243036160           0          0 1124     1124 active+clean 2019-10-04 18:05:09.532865  641'1124  659:3324 [0,1,2]          0 [0,1,2]              0    342'461 2019-09-28 07:52:44.897948             0'0 2019-09-21 09:54:01.378568             0 
5.73         57                  0        0         0       0 236249088           0          0  807      807 active+clean 2019-10-04 18:08:21.845714   660'807  660:3193 [2,1,0]          2 [2,1,0]              2    660'807 2019-10-04 18:08:21.845232         660'807 2019-10-04 18:08:21.845232             0 
5.74         78                  0        0         0       0 326870016           0          0 1515     1515 active+clean 2019-10-04 18:08:07.361033  660'1515  660:3131 [2,0,1]          2 [2,0,1]              2   660'1515 2019-10-04 18:08:07.360957        660'1515 2019-10-04 18:08:07.360957             0 
5.75         78                  0        0         0       0 326855168           0          0 3023     3023 active+clean 2019-10-04 18:08:46.198475  660'9989 660:11808 [2,1,0]          2 [2,1,0]              2   660'9989 2019-10-04 18:08:46.198179        660'9989 2019-10-04 18:08:46.198179             0 
5.76         68                  0        0         0       0 283982336           0          0 2117     2117 active+clean 2019-10-04 18:08:43.863203  660'2117  660:5456 [2,0,1]          2 [2,0,1]              2   660'2117 2019-10-04 18:08:43.862853        660'2117 2019-10-04 18:08:43.862853             0 
5.77         78                  0        0         0       0 326880768           0          0 3029     3029 active+clean 2019-10-04 18:05:09.339111  649'3029  659:5219 [0,1,2]          0 [0,1,2]              0   420'1826 2019-09-28 07:50:00.609493        420'1826 2019-09-23 06:40:15.681257             0 
5.78         70                  0        0         0       0 293275648           0          0 3076     3076 active+clean 2019-10-04 18:13:38.613641  660'8976 660:10808 [0,2,1]          0 [0,2,1]              0   660'8976 2019-10-04 18:13:38.613567        660'8976 2019-10-04 18:13:38.613567             0 
5.79         69                  0        0         0       0 289160192           0          0  896      896 active+clean 2019-10-04 18:08:32.012741   660'896  660:1471 [2,0,1]          2 [2,0,1]              2    660'896 2019-10-04 18:08:32.012305         660'896 2019-10-04 18:08:32.012305             0 
5.7a         61                  0        0         0       0 255641088           0          0 2883     2883 active+clean 2019-10-04 18:13:39.602359  660'2883  660:6627 [0,1,2]          0 [0,1,2]              0   660'2883 2019-10-04 18:13:39.602248        660'2883 2019-10-04 18:13:39.602248             0 
5.7b         54                  0        0         0       0 226311680           0          0 3073     3073 active+clean 2019-10-04 18:11:01.143283  660'8084 660:10434 [2,0,1]          2 [2,0,1]              2   660'8084 2019-10-04 18:11:01.142494        660'8084 2019-10-04 18:11:01.142494             0 
5.7c         78                  0        0         0       0 326870016           0          0 2150     2150 active+clean 2019-10-04 18:12:29.177164  660'2150  660:5344 [0,2,1]          0 [0,2,1]              0   660'2150 2019-10-04 18:12:29.177090        660'2150 2019-10-04 18:12:29.177090             0 
5.7d         68                  0        0         0       0 284908544           0          0 1392     1392 active+clean 2019-10-04 18:09:16.324201  660'1392  660:2774 [1,0,2]          1 [1,0,2]              1   660'1392 2019-10-04 18:09:16.324125        660'1392 2019-10-04 18:09:16.324125             0 
5.7e         72                  0        0         0       0 301523456           0          0 3051     3051 active+clean 2019-10-04 18:09:36.358588  660'3651  660:5093 [1,0,2]          1 [1,0,2]              1   660'3651 2019-10-04 18:09:36.358512        660'3651 2019-10-04 18:09:36.358512             0 
5.7f         69                  0        0         0       0 284891682           0          0 3002     3002 active+clean 2019-10-04 18:10:04.941130 660'33732 660:37227 [1,0,2]          1 [1,0,2]              1  660'33732 2019-10-04 18:10:04.939796       660'33732 2019-10-04 18:10:04.939796             0 
                                                  
8 1409 0 0 0 0  5860074054     0  0   7293   7293 
7   23 0 0 0 0      306648 13938 32    426    426 
5 8232 0 0 0 0 34408470284   327 30 301049 301049 
6  401 0 0 0 0  1670088517     0  0    773    773 
                                                     
sum 10065 0 0 0 0 41938939503 14265 62 309541 309541 
OSD_STAT USED    AVAIL   USED_RAW TOTAL   HB_PEERS PG_SUM PRIMARY_PG_SUM 
2        8.2 GiB 136 GiB  9.2 GiB 145 GiB    [0,1]    224             72 
0        8.2 GiB 136 GiB  9.2 GiB 145 GiB    [1,2]    224             83 
1        8.2 GiB 136 GiB  9.2 GiB 145 GiB    [0,2]    224             69 
sum       25 GiB 407 GiB   28 GiB 435 GiB                                

* NOTE: Omap statistics are gathered during deep scrub and may be inaccurate soon afterwards depending on utilisation. See http://docs.ceph.com/docs/master/dev/placement-group/#omap-statistics for further details.