joy数据向量化处理

joy数据经过解压后，需经过向量化处理才能变为可训练的数据。joy数据主要包括：TLS数据、字符分布、packet具体数据三类，共661维

一、TLS数据处理（198）

TLS相关数据构成一个数组

1、密码套件（cs）：

原则：构造数组，若命中下列cs值，则在相应位置取‘1’

密码套件的可能值有176种：
cs = {u’c005’: 0, u’c004’: 1, u’c007’: 2, u’0039’: 3, u’0038’: 4, u’c003’: 5, u’c002’: 6, u’0035’: 7, u’0034’: 8, u’0037’: 9, u’0036’: 10, u’c009’: 11, u’c008’: 12, u’0033’: 13, u’0032’: 14, u’c07a’: 15, u’c07b’: 16, u’c07c’: 17, u’c07d’: 18, u’0065’: 19, u’c087’: 21, u’c086’: 22, u’c081’: 23, u’c080’: 24, u’c072’: 25, u’c073’: 26, u’c076’: 27, u’c077’: 28, u’0040’: 29, u’0041’: 30, u’0042’: 31, u’feff’: 32, u’0044’: 33, u’0045’: 34, u’0046’: 35, u’0030’: 36, u’c00e’: 37, u’c00d’: 38, u’c00f’: 39, u’c00a’: 40, u’c00c’: 41, u’003e’: 42, u’003d’: 43, u’003f’: 44, u’003a’: 45, u’003c’: 46, u’003b’: 47, u’006a’: 109, u’00ff’: 49, u’00fd’: 50, u’00fb’: 51, u’00fc’: 52, u’c08a’: 53, u’c08b’: 54, u’5600’: 55, u’c05d’: 56, u’c05c’: 57, u’00af’: 58, u’00ae’: 59, u’0017’: 113, u’00a7’: 60, u’00a6’: 61, u’00a5’: 62, u’00a4’: 63, u’00a3’: 64, u’00a2’: 65, u’00a1’: 66, u’00a0’: 67, u’cc13’: 68, u’cc15’: 69, u’cc14’: 70, u’c049’: 71, u’c048’: 20, u’0016’: 114, u’000d’: 74, u’000f’: 75, u’000a’: 76, u’000c’: 77, u’0064’: 81, u’0066’: 79, u’0067’: 80, u’00b0’: 78, u’00b1’: 82, u’0062’: 83, u’0063’: 84, u’0060’: 85, u’0061’: 86, u’0068’: 87, u’0069’: 88, u’0004’: 89, u’0005’: 90, u’0006’: 91, u’0007’: 92, u’0001’: 93, u’0002’: 94, u’0003’: 95, u’0008’: 96, u’0009’: 97, u’0031’: 98, u’0019’: 125, u’0018’: 126, u’c030’: 101, u’c031’: 102, u’c032’: 103, u’006d’: 104, u’00ba’: 105, u’006b’: 106, u’006c’: 107, u’00bd’: 108, u’00be’: 48, u’00c4’: 110, u’00c0’: 111, u’00c3’: 112, u’cca9’: 72, u’cca8’: 73, u’0015’: 115, u’0014’: 116, u’0013’: 117, u’0012’: 118, u’0011’: 119, u’0010’: 120, u’c01b’: 121, u’c01c’: 122, u’c01a’: 123, u’c01f’: 124, u’c01d’: 99, u’c01e’: 100, u’002c’: 127, u’002f’: 128, u’c029’: 129, u’c028’: 130, u’c027’: 131, u’c026’: 132, u’c025’: 133, u’c024’: 134, u’c023’: 135, u’c022’: 136, u’c021’: 137, u’c020’: 138, u’009f’: 139, u’009e’: 140, u’009d’: 141, u’009c’: 142, u’009b’: 143, u’009a’: 144, u’0088’: 145, u’0089’: 146, u’0084’: 147, u’0085’: 148, u’0086’: 149, u’0087’: 150, u’0043’: 151, u’c02f’: 152, u’c02e’: 153, u’c02d’: 154, u’c02c’: 155, u’c02b’: 156, u’c02a’: 157, u’c018’: 158, u’c019’: 159, u’001b’: 160, u’001a’: 161, u’c012’: 162, u’c013’: 163, u’c011’: 164, u’c016’: 165, u’c017’: 166, u’c014’: 167, u’008d’: 168, u’008a’: 169, u’008b’: 170, u’008c’: 171, u’0099’: 172, u’0098’: 173, u’0097’: 174, u’0096’: 175}

2、TLS扩展（tls_exit）

原则：同1

3、客户端秘钥长度

原则：在TLS数组的最后一位直接显示长度

二、字符分布（256）

初始bd（Byte Distribution）数据为：
u’bd’: [24, 5, 1, 2, 3, 1, 1, 0, 0, 1, 3, 1, 0, 0, 0, 0, 1, 0, 0, 2, 1, 0, 1, 1, 2, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 2, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 5, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]

原则：bd_new = map(lambda x: x/float(sum(flow[‘bd’])),flow[‘bd’])

三、packet数据处理

1、PL（IndividualFlowPacketLengths）数据处理（100）

预设一个10*10的矩阵，行值代表前一到达包的长度，列值代表当前包长度，矩阵中的每个元素代表一次前后包长度变化。再将该矩阵各行分别除以相应行所有元素值之和，从而使元素值代表转移概率。

原字段:flow[‘packets’][i][‘b’]

2、IPT（IndividualFlowIPTs）数据处理（100）

同1
原字段:flow[‘packets’][i][‘ipt’]

3、其他(7)

出入(desctination->source)站比特数（ob、ib）、包数（op、ip），目的、源端口（dp、op）、ipt之和

原字段：flow[‘ob’]、flow[‘ib’]

ignore:sa、da、sp、dp、ip、op、ib、ob、scs、tls_client_key_length、tls_i(o)v
data:dp、sp、ip、op、ib、ob、ipt之和

四、额外处理（2）

bd的方差、熵