python 删除两个文件中没有一一对应的名称

删除两个文件中没有一一对应的名称，针对于.jpg文件和xml文件没有对齐

#!/usr/bin/python3
# -*- coding:UTF-8 -*-

import os
import shutil
file_name_1 = "JPEGImages" #图片文件存放地址
file_name_2 = "Annotations" #标记文件存放地址
#file_name_1
#count = 10415#图片起始编号
image = []
annotation =[]
for file in os.listdir(file_name_1):
    if file.endswith(".jpg"):
        num, j = file.split(".")
        image.append(num)
for file in os.listdir(file_name_2):
    if file.endswith(".xml"):
        num, j = file.split(".")
        annotation.append(num)
for img in image:
    if img not in annotation:
        os.remove(os.path.join(file_name_1,str(img)+".jpg"))

for xml in annotation:
    if xml not in image:
        os.remove(os.path.join(file_name_2,str(xml)+".xml"))