使用视觉语言模型（VLMs）进行目标检测

最新推荐文章于 2025-02-12 08:45:35 发布

程序猿李巡天

最新推荐文章于 2025-02-12 08:45:35 发布

阅读量937

点赞数 28

文章标签：语言模型目标检测目标跟踪人工智能自然语言处理 java 算法

本文链接：https://blog.csdn.net/m0_59235945/article/details/144093283

版权

在过去，你必须自己训练模型，收集训练数据，但现在许多基础模型允许你在它们的基础上进行微调，以获得一个能够检测目标并与用户用自然语言互动的系统。有数百种模型和潜在应用场景，目标检测在这些场景中非常有用，尤其是随着小型语言模型的兴起，所以今天我们将尝试使用MLX上的Qwen2-VL-7B-Instruct-8bit。

我们将使用MLX-VLM，这是由Prince Canuma（Blaizzy）创建的一个包，他是一位热衷于开发和移植大型语言模型以兼容MLX的热情开发者，这个框架为我们用户抽象了很多代码，使我们能够用很少的代码行运行这些模型。现在让我们来看下面的代码片段。你会发现它非常简单。首先，你可以从Hugging Face定义模型，框架将下载所有相关组件。这个过程非常简单，因为这个库还提供了多个实用工具（apply_chat_template），可以将OpenAI的标准提示模板转换为小型VLMs所需的模板。

这里的一个重要注意事项是在编写代码时，这个库中的系统角色出现了一些问题，但未来很可能可以添加。但在本例中，我们在一个用户消息中传递任务和响应格式，基本上我们将要求模型识别所有对象并返回一个坐标列表，其中第一个顶部将是边界框的最小x/y坐标，后者将是最大坐标。同时，我们包括了对象名称，并要求模型以JSON对象的形式返回：

from mlx_vlm import load, apply_chat_template, generate``from mlx_vlm.utils import load_image``   ``   ``model, processor = load("mlx-community/Qwen2-VL-7B-Instruct-8bit")``config = model.config``   ``image_path = "images/test.jpg"``image = load_image(image_path)``   ``messages = [`    `{`        `"role": "user",`        `"content": """detect all the objects in the image, return bounding boxes for all of them using the following format: [{`        `"object": "object_name",`        `"bboxes": [[xmin, ymin, xmax, ymax], [xmin, ymin, xmax, ymax], ...]`     `}, ...]""",`    `}``]``prompt = apply_chat_template(processor, config, messages)``   ``output = generate(model, processor, image, prompt, max_tokens=1000, temperature=0.7)``print(output)

运行前面的代码后，你将收到一个JSON响应，正确识别了两辆卡车：

[{`    `"object": "dump truck",`    `"bboxes": [`        `[100, 250, 380, 510]`    `]``}, {`    `"object": "dump truck",`    `"bboxes": [`        `[550, 250, 830, 490]`    `]``}]

鉴于我们有了对象名称和边界框坐标，我们可以编写一个函数将这些结果绘制在图像上。代码如下：

import json``import re``import matplotlib.pyplot as plt``from PIL import Image, ImageDraw, ImageFont``   ``def draw_and_plot_boxes_from_json(json_data, image_path):`    `"""`    `Parses the JSON data to extract bounding box coordinates,`    `scales them according to the image size, draws the boxes on the image,`    `and plots the image.``   `    `Args:`        `json_data (str or list): The JSON data as a string or already parsed list.`        `image_path (str): The path to the image file on which boxes are to be drawn.`    `"""`    `# If json_data is a string, parse it into a Python object`    `if isinstance(json_data, str):`        `# Strip leading/trailing whitespaces`        `json_data = json_data.strip()`        `# Remove code fences if present`        `json_data = re.sub(r"^```json\s*", "", json_data)`        `json_data = re.sub(r"```$", "", json_data)`        `json_data = json_data.strip()`        `try:`            `data = json.loads(json_data)`        `except json.JSONDecodeError as e:`            `print("Failed to parse JSON data:", e)`            `print("JSON data was:", repr(json_data))`            `return`    `else:`        `data = json_data``   `    `# Open the image`    `try:`        `img = Image.open(image_path)`    `except FileNotFoundError:`        `print(f"Image file not found at {image_path}. Please check the path.")`        `return``   `    `draw = ImageDraw.Draw(img)`    `width, height = img.size`    `# Change this part for Windows OS`    `# ImageFont.FreeTypeFont(r"C:\Windows\Fonts\CONSOLA.ttf", size=25)`    `font = ImageFont.truetype("/System/Library/Fonts/Menlo.ttc", size=25)  # Process and draw boxes`    `for item in data:`        `object_type = item.get("object", "unknown")`        `for bbox in item.get("bboxes", []):`            `x1, y1, x2, y2 = bbox`            `# Scale down coordinates from a 1000x1000 grid to the actual image size`            `x1 = x1 * width / 1000`            `y1 = y1 * height / 1000`            `x2 = x2 * width / 1000`            `y2 = y2 * height / 1000`            `# Draw the rectangle on the image`            `draw.rectangle([(x1, y1), (x2, y2)], outline="blue", width=5)`            `text_position = (x1, y1)`            `draw.text(text_position, object_type, fill="red", font=font)``   `    `# Plot the image using matplotlib`    `plt.figure(figsize=(8, 8))`    `plt.imshow(img)`    `plt.axis("off")  # Hide axes ticks`    `plt.show()

绘制结果如下：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述