一、数据集情况
TT100K字面的意思就是腾讯和清华一起合作制作的交通标志数据集（100K就是10万张）
但是，里面差不多有1万多张图片有包含交通标志，训练数据集（train文件夹里面是有6105张图片），测试数据集（test文件夹里面是有3071张图片），当然每张图片包含多个实例，图片的标注文件格式是json，经过计算，训练数据集总共包含16527个实例，测试数据集包含8190个实例。
作者也说了存在类别不均衡现象，毕竟有些标志（比如山体滑坡、前面村庄）在市中心是看不到的，数据里面类别不均衡还是很严重的，json文件的types共221个类别。
缺失了70个类别，也就是说有70个类别没有实例。占到了快1/3。
0 < 实例数 < =10 ：73个类别
10 < 实例数 < =50 ：32个类别
50 < 实例数 < =100 ：13个类别
100 < 实例数 < =500 ：22个类别
实例数 > 500 ：11个类别
还有marks里面也不完整，从柱状图可以看出实例大于500的类别仅为11个，数据扩增显得尤为重要！（坑）
刚开始我以为数据量是ok的，没想到数据质量并不理想，这也是我训练时候模型一直很差才发现的~
二、数据扩增的思路
1、方案一：没有数据，当然是上网找数据来扩充，但是呢，关于中国交通标志的数据集匮乏（很少），本来是想拿其他数据集来进行补充，有一个长沙理工做的，博客放这：
https://blog.csdn.net/dong_ma/article/details/84339007
但是这个分类就没那么细了，就是粗分类，分七大类，粒度太粗啦，数据是从行车视频记录仪上面截下来，重复度较高。（弃用）
2、方案二：同样像TT100K那样去爬腾讯街景图片是否可行？爬下来那还是得人工进行分类，或者利用别人训练好的模型来检测识别街景图片，并打上标注扩增数据，应该也是可以，但是最终还是得check一下。
3、方案三：当时脑子里有个想法就是有没有那种无中生有的算法，让它先看下交通标志长啥样，再让它看下场景，最后看下那个有交通标志的实际场景，然后input一张场景图片，out就是一张带交通标志的图片，是不是叫做GAN？也就是说它是一个会想象的模型，还没有尝试了解~（很好的一个点）
4、方案四：发现数据集中有marks，就是每个交通标志的大头贴，如下图所示：
这是我补充进去的，原本的不全~
根据禁令、指示和警告各类交通标志的形状颜色相近的特点（如指示的就是外形为圆，蓝底白字）
就想能不能把缺少的mark来P到同一个大类的训练图片上来（同一bbox）上去就好了~
p之前长这样（如下）
把这个给p掉，同一位置，换了个类别~
当然，如果有原始数据那就很好咯，但是没有，那就自己p
这里会出现几个问题：
1、亮度。p上去的交通标志太突兀了，因为亮度问题（其实我在p的过程中已经随机选择一个亮度值来p了，可能这种随机取亮度值没有考虑被p图片的亮度，是否应该计算下被p那个位置的亮度，再来p，这样效果会更好吧）
2、变形。p的过程发现，正正的那种交通标志，p上去效果好，但是那种角度偏的交通标志就产生变形了，所以p的时候也应该进行缩放变形。
然后，写了个程序就给它批量的p上去啦~
代码还是贴一下吧，怕下次找不到~
写了两种，一种是p指定类别，一种是随机p
# p指定的类别
# annos：你的json文件
# label：你要p的类别
# num：你要p几张
def p_one_category(annos, label, num):
print('p指定的类别')
annos_add = '{}'
# 打开训练图片的ids，num就是你想p几张
with open('E:\data\TT100K\data\/train\ids.txt') as f:
filenames = f.readlines()
image_ids = sample(filenames, num)
i = 0
while i < len(image_ids):
# 开始读json
image_id = image_ids[i].strip()
objects = annos['imgs'][image_id]['objects']
# 复制一份json出来
annos_copy = annos['imgs'][image_id]
print(annos_copy)
# 打开图片
im2_path = os.path.join('E:\data\TT100K\data\/train\/', image_id + '.jpg')
im2 = Image.open(im2_path)
count = 1
# 看是以谁开头
start = label[0:1]
print(start)
for index, obj in enumerate(objects):
if obj['category'].startswith(start):
im2 = paste(obj, label, im2)
annos_copy['objects'][index]['category'] = label
# p一个就好啦，因为可能存在objects里面存在两个一样的类型（比如i1），我们要一个就够啦
break
count = 0
# 可能出项这张图片并没有你想要的类型（如i1），如果有，上面的for循环就跳出来，当然count就不会为0
if count != 0:
# 修改json和图片
annos_copy['path'] = 'train/' + image_id + label + '_add.jpg'
annos_copy['id'] = image_id + label + '_add'
annos_add = json.dumps({**json.loads(annos_add), **{image_id + label + '_add': annos_copy}})
print(annos_add)
add_path = 'E:\data\TT100K\data_noin_w\/' + label + '/' + label + '_add/'
if not os.path.exists(add_path):
os.makedirs(add_path)
im2.save(add_path + image_id + label + '_add.jpg', 'JPEG')
# print('第%d张', i)
print('\r>> Finished image %d/%d' % (i + 1, num))
i += 1
print('结束！')
# 写入json数据
with open(add_path + label + '_add' + '.json', 'w', encoding='utf-8') as json_file:
json.dump(annos_add, json_file, ensure_ascii=False)
随机p又是啥
其实，思路一样啦
就是一张图片对应一个objects，objects包含object，随机p就是可以p一个object或两个，要p的类别也是随机挑~
# 增加这70个类别没有的数据
# 随机选择2500张训练图片
def random_choose_image(annos):
print('随机选择2500张！')
expand_class = []
no_prohibitory, no_indication, no_warning = filter_data()
annos_add = '{}'
with open('E:\data\TT100K\data\/train\ids.txt') as f:
filenames = f.readlines()
image_ids = sample(filenames, 2500)
i = 0
while i < len(image_ids):
image_id = image_ids[i].strip()
objects = annos['imgs'][image_id]['objects']
annos_copy = annos['imgs'][image_id]
print(annos_copy)
count = 0
if len(objects) > 0 and len(objects) < 4:
count = 1
if len(objects) > 4:
count = 2
obj_sample = sample(objects, count)
im2_path = os.path.join('E:\data\TT100K\data\/train\/', image_id + '.jpg')
im2 = Image.open(im2_path)
class0 = ""
for obj in obj_sample:
label = obj['category']
# print(label)
print('obj')
print(obj)
if label.startswith('i'):
no_obj = sample(no_indication, 1)
if label.startswith('p'):
no_obj = sample(no_prohibitory, 1)
if label.startswith('w'):
no_obj = sample(no_warning, 1)
print(no_obj[0])
class0 = no_obj[0]
if class0 != "":
expand_class.append(class0)
# 干正事（粘贴上去）
im2 = paste(obj, no_obj[0], im2)
# 替换json数据
for obj in annos_copy['objects']:
if obj['category'] == label:
obj['category'] = no_obj[0]
print("class0" + class0)
annos_copy['path'] = 'train/' + image_id + '_add.jpg'
annos_copy['id'] = image_id + '_add'
annos_add = json.dumps({**json.loads(annos_add), **{image_id + '_add': annos_copy}})
# print(annos_add)
# imgs[image_id + '_add']
if count != 0:
im2.save('E:\data\TT100K\data_noin\/' + class0 + '/' + image_id + '_add.jpg', 'JPEG')
print('第%d张', i)
i += 1
print('结束！')
print(expand_class)
# print(annos_add)
# print(annos['imgs'])
# annos['imgs'] = json.dumps({**annos['imgs'], **annos_add})
# 写入json数据
with open("E:\data\TT100K\/data_noin\/data_noin.json", 'w', encoding='utf-8') as json_file:
json.dump(annos_add, json_file, ensure_ascii=False)
贴的那个函数得上一下：
def paste(obj_anno, mark, im2):
width = round(obj_anno['bbox']['xmax']) - int(obj_anno['bbox']['xmin'])
height = round(obj_anno['bbox']['ymax']) - int(obj_anno['bbox']['ymin'])
im1_path = os.path.join('E:\data\TT100K\data\/marks_small\/', mark + '.png')
im1 = io.imread(im1_path)
# 随机亮度调节
gamma = round(random.uniform(0.5, 2), 1)
gam = exposure.adjust_gamma(im1, gamma)
im_resized0 = transform.resize(gam, (height, width))
img = im_resized0 * 255
img = img.astype(np.uint8)
im_resized = Image.fromarray(img, mode='RGBA')
im2.paste(im_resized, (int(obj_anno['bbox']['xmin']), int(obj_anno['bbox']['ymin'])), mask=im_resized)
print("success!")
return im2
三、数据检查
我这边用的是方案四来进行批量p
但是，很担心数据的质量，数据质量差模型就很难train
基于此，开发一个数据质检程序
主要达到两个目的：
1、方便查看p后的位置准不准，直观的展示，提高工作效率
2、如果质量差，那可以在程序上面进行bbox的微调，要是实在差的不行的，还可一键删除
图形界面如下：
放大后：
代码就不贴了~
还在犹豫什么？一键三连，谢谢~
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
