iCloudEnd的博客

Ollama 刚刚宣布正式支持 Llama 3.2 Vision 模型。Llama 3.2 Vision 模型有两种规模：110 亿和 900 亿参数。在本文中，我将概述它们在不同情况下的表现，以及我对它们的个人看法。Llama 3.2-Vision 指令调整模型针对视觉识别、图像推理、字幕和回答有关图像的一般问题进行了优化。这些模型在常见的行业基准上优于许多可用的开源和封闭多模式模型。该模型还支持多种语言：对于纯文本任务，官方支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

如果您希望加快数据处理和分析速度，尤其是处理非常大的数据集时，请尝试支持 GPU 的 Polars。借助其在 CPU 和 GPU 之间无缝切换的能力，您可以处理大量数据，同时最大限度地降低设置复杂性。

人工智能领域发展迅速，最近的创新不断突破模型所能实现的界限。其中最令人兴奋的进步是多模态人工智能，它使模型能够处理和理解来自各种模态的输入，例如文本、图像甚至音频。该领域最具突破性的模型之一是 Meta 的LLaMA 3.2 Vision。这个强大的多模态模型集成了语言和视觉推理能力，使其成为视觉问答、文档分析和创意应用等复杂人工智能任务的领先解决方案。在本综合指南中，我们将深入探讨 LLaMA 3.2 Vision 的架构、主要功能和基准，并提供Ollama的动手教程来帮助您入门。

优化 GPU 利用率对于现代计算至关重要，尤其是对于 AI 和 ML 处理而言，GPU 在其中发挥着关键作用，因为它们具有无与伦比的并行计算和快速处理大型数据集的能力。现代 GPU 在这些领域中具有无价的价值。它们拥有数千个核心，可实现非常高的并行性。这可以实现传统 CPU 无法实现的复杂模型训练和实时数据分析。通过充分利用 GPU 资源，组织可以加速MLOps 工作流程、获得更快的洞察力并提高其计算基础架构的效率。

虚拟 GPU (vGPU) 允许将单个物理 GPU 拆分并共享到多个虚拟机，从而使每个虚拟机能够利用 GPU 的一部分资源，就像直接分配给它一样。此设置对于各种工作负载都很有价值，包括 AI 模型训练、视频处理和虚拟桌面中的图形密集型应用程序。通过使用 vGPU，您可以最大限度地提高硬件利用率、降低成本并在多个虚拟实例中实现高计算性能。在企业环境中，vGPU 通常通过 NVIDIA 的数据中心和工作站 GPU 实现。然而，对于个人和小型项目，用户越来越有兴趣将 vGPU 功能应用于消费级卡。

Llama 3.2是 LLaMA 系列的最新版本，它带来了增强的多模态功能，包括强大的视觉模型。无论您是处理图像进行分析、生成视觉内容还是构建 AI 驱动的应用程序，Llama 3.2 的视觉模型都能为计算机视觉任务开辟新的可能性。在本系列博文中，我们将探讨如何在本地和通过 API 利用视觉模型，从而根据您的特定需求为您提供灵活性。在深入探讨“如何”之前，让我们先来谈谈“为什么”。Llama 3.2 的视觉模型将先进的图像处理功能与语言理解相结合，可实现以下任务：图像字幕：根据图像生成描述性文本。

通过将 Mesop 简单但功能强大的 UI 组件与 Plotly 全面的图表功能相结合，您可以构建一个动态的交互式应用程序来展示 Python 中的数据可视化。Mesop 是一个为快速 AI 和 Web 应用程序开发而开发的 Python 原生框架，它允许您构建复杂的界面，而无需传统的前端技能；当然，Plotly 是一个著名且使用良好的图形库。我们将利用这些组件构建一个数据可视化应用程序。

Notebook Llama 可以视为 NotebookLM 的开源版本。它提供了一种循序渐进的方法，利用大型语言模型 (LLM) 和文本转语音 (TTS) 模型自动从 PDF 源创建播客内容。Notebook Llama 利用一系列 Jupyter 笔记本来指导用户完成整个过程。

NotebookLlama 功能的核心是使用 Meta 强大的 Llama 模型。这些模型驱动整个工作流程，实现强大的文本处理和转换为适合播客的摘要。该过程分为几个关键步骤：PDF 预处理：使用 Llama-3.2–1B-Instruct 模型，NotebookLlama 清理和构建文本，删除多余的字符以准备音频生成内容。

随着虚拟化环境在家庭实验室设置中的日益普及，许多人都在寻求在多个虚拟机 (VM) 之间共享 GPU 资源的方法，以完成 3D 渲染、CAD 设计和视频转码等任务。目标通常是实现真正的 GPU 分区，而不依赖 Nvidia GRID 等昂贵的专有解决方案。开源解决方案正在迅速发展以满足这些需求，但处理硬件兼容性、虚拟机管理程序选择和设置配置可能具有挑战性。本指南探讨了使用开源工具实现 GPU 分区的选项，强调兼容的硬件和虚拟机管理程序配置。

默认情况下，Q4_K_M如果量化方案存在于模型存储库中，HF 会使用该方案。如果不存在，HF 会默认选择存储库中存在的一种合理的量化类型。要选择不同的量化，请执行以下操作：-在Files and Versions模型页面右上角附近的选项卡中，将显示该模型的所有不同变体的列表。选择具有所需量化的变体。与以前一样，Ollama从Use this model下拉列表中选择。

想象一下，无需学习 HTML、CSS 或 JavaScript，即可将 Excel 电子表格转变为动态、交互式仪表板。在本文中，我将向您展示如何仅使用 Python 和一些关键库（Pandas、Plotly 和 Streamlit）来实现这一点。本教程将帮助您更有效地可视化数据并以交互式 Web 格式与他人分享见解。《如何微调 NLLB-200 模型以翻译新语言(教程含源码)》 权重6，微调类、NLLB-200 模型《将 Llama 3 与 Ollama 和 Python 结合使用 使用 Ollama A

通过虚拟化，您可以通过创建“虚拟机”(VM) 在主系统 macOS 内运行单独的操作系统（如 Ubuntu）。您可以将其视为计算机中的计算机，这样您就可以试验和使用软件而不会影响主设置。在 Apple Silicon Mac 上安装 Ubuntu 可以为 Linux 探索开辟新的机会。从开发和编码到设置自定义环境，此设置既灵活又强大。虽然它不像 macOS 那样即插即用，但对于那些想要充分利用 Linux 和 macOS 世界的人来说，这是一个值得的设置。

苹果刚刚发布了全新的Macbook Pro，声称它能够通过 128GB vram 和新的 M4 Max 芯片“轻松与具有 2000 亿个参数的 LLM 交互”。这意味着什么？通过正确的配置，您将能够在本地（和移动端）加载要求最高的 LLM，并以各种有趣的方式与它们交互。请记住，当涉及到模型本身的参数时，“大并不总是好”；

我当时正在重温《哈利波特》系列，心里一直在想：老师和级长们到处给各个学院扣分！但是，他们能跟踪这么多班级的分数变化吗？数据完整性呢？可扩展性？写入冲突？他们肯定需要可扩展的东西，比如用于学院分数更新的发布-订阅系统。除了规模之外，语音识别必须有多好？严肃地说，这让我开始思考——我们能用人工智能重新创造一些吗？如果我们能从语音直接转换为 SQL 会怎么样？

使用这些修补的驱动程序或某些 Tesla 卡的优点之一是它们允许创建自定义配置文件。这些配置文件允许您为每个虚拟机设置内存和分辨率限制，从而根据每个虚拟机的特定需求定制 GPU 的性能。这在为多个虚拟机上的轻量级 3D 渲染或 AI 工作负载等任务设置环境时尤其有用。

提示： “用 3-5 句话总结这篇论文，就像在电梯里向同事解释它一样。这个提示迫使人工智能将论文的核心信息提炼成绝对的精华。它非常适合快速掌握主要思想并决定是否需要深入研究。

此函数使用MySQL 连接器语法初始化与 MySQL 数据库的连接。该函数使用 MySQL 的 URI 格式组装数据库连接字符串。通过调用SQLDatabase.from_uri(db_uri)，我们创建一个SQLDatabase对象，它将允许我们获取数据库架构并运行 SQL 查询。SQL Query:"""return (| prompt| llm提示模板：为AI模型提供根据数据库模式和用户的问题生成SQL的指令。

最近，我看到许多公司渴望“利用生成式人工智能做点什么”，寻求帮助。当这种需求变得具体时，他们通常会寻找内部专家或自由职业者。令我惊讶的是，这些公司中的许多公司都在寻找数据科学家和机器学习工程师，认为这是有效利用生成式人工智能的关键。从我为中型和大型企业提供十多个生成式 AI 项目的经验来看，很明显许多公司对成功采用 AI 需要什么以及需要谁来参与缺乏全面的了解。他们经常误解所需的角色，专注于聘请专家而不考虑这些角色是否符合他们的目标。这种方法可能导致效率低下和过度复杂化，最终阻碍进展。

GameMaker 是一个简化游戏创建过程的游戏开发平台。它提供了一个可视化的拖放界面和自己的脚本语言 GameMaker Language (GML)，我们将在此重点介绍它。

可视化大量点云可能是一件非常令人头疼的事情。如果您难以处理大量点云（我说的是十亿点规模）或包含许多三角形的大量 3D 网格，处理各种文件格式，并且您不具备自动化所有操作的编码技能，那么我有一个解决方案。本快速教程展示了如何在本地机器上开始处理和可视化这些数据。

NVIDIA H100 Tensor Core GPU 是 NVIDIA 最新的（2022 年发布）通用可编程流式 GPU，适用于 HPC、AI、科学模拟和数据分析。H100 GPU 主要用于执行 AI、HPC 和数据分析的数据中心和边缘计算工作负载，较少用于图形处理。H100 是第一款真正异步的 GPU，它扩展了 A100（A100 是 NVIDIA 的上一代 GPU）所有地址空间的全局到共享异步传输，使应用程序能够构建端到端异步管道，将数据移入和移出芯片，完全重叠并隐藏数据移动与计算。

Meta 于 2024 年 9 月发布了 Llama 3.2，其中包括参数大小为 1B 和 3B 的轻量级纯文本模型，包括预训练和指令调整版本。这两个模型支持 128K 标记的上下文长度。这对开源社区来说是一个令人兴奋的消息。让我们在我的 Mac 上试用一下 Llama 3.2 1B 模型。

大型语言模型 (LLM) 已经改变了 AI 格局，但其庞大的规模也带来了同样巨大的计算成本。如果我们能够在不牺牲性能的情况下显著提高这些模型的效率，那会怎样？这正是研究人员通过 BitNet b1.58 实现的，开创了 1 bit LLM 时代。

在快速数据探索和原型设计的时代，Streamlit、Gradio、NiceGUI和Mesop等框架已成为数据工程和数据科学团队的必备工具。这些框架有一个共同的使命：帮助非 Web 开发人员（尤其是数据专业人员）使用 Python 快速有效地构建交互式应用程序。传统上，构建 Web 应用程序需要大量前端和后端开发知识，这给需要与 Web 开发人员合作的数据团队带来了瓶颈。

Pixtral 12B 是一个开源多模态语言模型，经过训练可以理解图像和文本。它能够执行多模态任务，例如视觉问答 (VQA)、视觉推理、光学字符识别 (OCR) 和图像字幕。它的表现优于其他类似规模的开放模型，甚至一些更大的开放模型，如下所示。评估指标为 MM-MT-Bench [1] 和LMSys-Vision ELO。MM-MT-Bench 包含来自各种场景的精选多选视觉问题，涵盖 32 个核心元任务。

虽然ChatGPT和 Anthropic 的Claude等大型模型似乎是首选，但它们是闭源开发循环的一部分，需要订阅才能访问其高级功能，例如文档聊天。同样，其他在线工具也需要订阅才能使用其功能，这些功能只是将 API 调用包装到 OpenAI 或其他提供商。在本文中，我将讨论如何使用Ollama尝试在本地运行的模型（在您自己的笔记本电脑/机器上）模仿它们的某些功能。我希望这可以揭开与文档聊天的过程的神秘面纱，以及您可以利用的提示和检索技术。

这篇文章的目的是在常见的 Django 应用程序中实现大型语言模型 (LLM) 的一些当前主要用途，特别是称为检索增强生成 (RAG) 的技术，该技术允许用户与他们的文档进行聊天。在深入介绍实现之前，我需要解释 RAG 的一些基本构建块，即嵌入。

在家尝试调制鸡尾酒时，我经常会用各种配方剩下的配料混合在一起。我尝试向 ChatGPT 询问使用这些随机配料调制鸡尾酒的想法，并得到了一些不错的建议。然而，它们缺乏我想要的风格——花哨的名字或有趣的起源故事。这或多或少是这种检索增强生成 (RAG)方法的灵感来源。由于 Chroma 向量数据库和 LangChain 的相似性搜索在 RAG 领域占据主导地位，我想尝试一种更简单的方法，即使用SQL查询来完成同样的工作。

agents是可以通过采取行动来完成复杂任务的智能程序。

在本文中，我们将探讨如何在任何具有足够 RAM 以运行至少较小模型的机器上安装 Meta 的最新 LLM（称为 Llama 3）。但首先，什么是 Llama 3？

在本文中，我将指导您逐步使用 Ollama 、 Llama 3、Phidata 创建 AI 代理，使其能够执行功能和使用工具。为了构建 AI 代理，我将使用Phidata，这是一个专为制作自主助手而定制的框架。这些代理具有长期记忆、情境理解以及通过函数调用发起操作的能力（上图）。

在当今快节奏的世界里，及时了解特定领域的最新新闻可能是一项挑战。如果我们可以利用生成式人工智能和代理的强大功能来创建一个完全在本地机器上运行的个性化新闻聚合器，那会怎样？在本文中，我们将探讨如何使用Ollama的 Llama 3.2 模型、用于代理编排的Swarm和用于网络搜索的DuckDuckGo构建这样的系统。随着大型语言模型的兴起，我们现在有能力在个人电脑上运行复杂的人工智能系统。这为创建满足我们特定需求的定制工具开辟了无限可能。我们的新闻聚合器就是这种潜力的完美例证。Ollama 与 Llama 3

对于发光和涟漪效果，我们将探索并应用 SwiftUI 着色器效果。我们将深入挖掘并使用 MetalKit 创建计算管道，以实现粒子云。如果你迫不及待想要自己尝试一下，那么可以在文章末尾找到最终结果的要点。首先定义视图的基本布局。接下来我们将逐步增强它。

生物信息学似乎对大多数法学硕士来说都具有挑战性，但本地可用的 Solar-Pro 却不同！在我给它一些指导后，它也能解决我简单的隐藏多肽文字问题。您可以从 Ollama 网站下载模型，或者直接使用 ollama pull solar-pro。记得刷新 Open WebUI，这样您才能在列表中看到模型。

想象一下：你是一名营销经理，脑子里充满了各种营销活动创意，每个创意都有望成为下一个大热门。你会如何选择？如果人工智能不仅可以产生这些创意，还可以挑选出最好的创意，那会怎样？这正是我要构建的——一个由人工智能代理驱动的营销活动分析器。让我带你踏上这段将技术与创意融合的激动人心的旅程。我构建了一个由人工智能驱动的营销活动分析器，用于生成和评估营销策略。它使用多个人工智能代理来创建活动，并使用评判代理来挑选最佳活动。该系统具有用户友好的界面，用于输入产品详细信息和查看结果。

Hugging Face 上的 MLX 社区是一个协作空间，贡献者可以在此分享 Apple MLX 框架的预转换模型权重。它专注于使模型易于用于大型语言模型 (LLM) 训练、微调和部署等任务。用户可以找到各种现成的模型，包括用于语音识别的 Whisper、用于图像生成的 Stable Diffusion 和用于文本生成的 Llama。社区鼓励想要上传自己的模型或在项目中使用 MLX 工具的用户做出贡献。

创建一个流线型应用程序来展示使用 Yolov8 模型进行对象检测推理。使用图像作为输入并用边界框显示输出。使用现有的模型和权重进行推理。此代码不涉及任何培训。使用公开可用的开源图像这仅用于教育目的。

YOLO11是Ultralytics YOLO 系列实时物体检测器的最新版本，它以尖端的准确性、速度和效率重新定义了可能性。在之前 YOLO 版本的显著进步的基础上，YOLO11 在架构和训练方法方面进行了重大改进，使其成为各种计算机视觉任务的多功能选择。这个模型可以做很多很酷的事情，比如：查找物体：它可以定位和识别图像中的不同物体，如汽车、人或树木。对事物进行分类：它可以告诉你它看到了什么类型的物体，比如一只猫或一根香蕉。了解物体的形状：它甚至可以勾勒出物体的确切形状，就像描摹出它一样。

YOLOv11是 Ultralytics YOLO 系列的最新版本，在架构和训练方法方面有显著改进。它旨在处理各种计算机视觉任务，是开发人员和研究人员的多功能工具。主要特点增强特征提取：YOLOv11 采用先进的主干和颈部架构，提高了其提取特征进行精确物体检测的能力。优化的效率和速度：该模型拥有精致的架构设计，可实现更快的处理速度，同时保持准确性和性能之间的平衡。