Silver__Wolf的博客

MediaPipe Solutions 提供了一套库和工具，可以在安卓或者windows应用中快速应用人工智能 (AI) 和机器学习 (ML) 技术。MediaPipe 手部地标任务可检测图片中手部的特征点。识别效果如下。

Mlc-llm是高性能的模型部署框架，支持在电脑、手机上运行大模型，使用这个平台可以轻松将主流的qwen、llama、phi等大模型部署到手机上。

TableGeneration 是一个基于 Python 开发的工具，它利用浏览器渲染技术生成表格图像。这个工具的特点在于其高度的可配置性，用户可以根据需求自定义表格的多种属性。生成的表格可以用于各种场景，如数据分析和机器学习中的数据集构建。GitHub 页面。

我们的目标是使用Llama-Index来连接到Neo4j，以构建和查询知识图谱。通过这个过程，我们能够将文档中的信息转化为知识图谱，并通过模型进行查询。以下参考llama-index官方实现。

Ollama 通过在本地部署和运行大型语言模型，为用户提供了一个方便、灵活的工具来探索人工智能的强大能力。

你是否在为下图中的报错所烦恼？烦恼文件的编码格式是什么？一遍又一遍的尝试，换来的只有冰冷的报错，今天我们将用Chardet一雪前耻。Chardet是 Mozilla 中自动检测代码的端口。作者试图尽可能多地维护原始结构（主要是出于自私的原因，以便随着原始代码的发展更容易维护端口）。由于作者的贡献，我们可以简单快速的使用到这个库。

往期的Llama2-7b-chat中我们试用了官方的demo，但是那个demo只能在代码中传入固定的对话，我稍微修改了一下，使其能在命令行中不间断对话（不具备记忆功能）

Hugging face是一个开源的模型社区，里边包含各种各样的模型。Hugging face在github上开源了一个Transformers库，这个库非常的好用，我们可以用这个库做模型的推理、微调。推荐这个库的另一个原因是简单好用，我们看一下huggingface的网站huggingface除了开源模型外，还提供数据集、模型的结构与训练代码，我们甚至可以无痛在这个框架下做模型finetune。

上一篇博客讲了我跑Llama的demo的心路历程（），这篇我们主要是讲下怎么配置。

最近在玩大模型，玩了ChatGLM3感觉不过瘾，又去玩了Llama2（在Windows上简直难的离谱），下边我讲为大家讲一下我的心路历程。

1. 本机系统Windows11，因此安装WSL非常快，PowerShell命令行打开，键入完事。3. 不要慌，我们找找万能的百度。百度告诉我，命令行打开PowerShell，键入。2. 理论上这么简单的事情必然不简单了，果不其然，重启后（RNN,退钱！为了不太麻烦就选择了WSL2，废话不多说，正式开始。4. 再次重启后我就放心了，终于可以愉快的玩耍了。1. 在Windows快速验证开源大语言模型。130856474

在前几期的博文中我们讲了pytorch的DDP，但是当时的demo是自制的虚拟数据集（），这期文章我们使用Mnist数据集做测试，测试并完善代码。

往期已经进行过ChatGLM3的部署了，感兴趣的可以搜索往期的博客，我们今天主要使用github项目工程提供的demo进行玩耍，ok开始。

pytorch是支持单机多卡甚至是多机多卡训练的，目前大部分的模型朝着6G甚至好几十G上涨，单凭一张显卡有点难以招架了。上回测试ChatGLM3-6B推理都消耗了8G，单卡全参数训练可能够呛了，研究一下多卡分布式的，后续做chatGLM的finetune。DDP的大致原理是模型进行拷贝，数据多路输入在模型中求梯度、求多个模型的均值梯度统一做反向传播，大致的前向传播如下图，反向太复杂了不描写，感兴趣的朋友自行查找资料。正文完毕，后续上代码。

有时候，在参考一篇文档后，我们可能希望避免出现太多重复的内容。为了解决这个问题，您可以使用这个工具来比较两个 Word 文档之间的差异。其主要功能是检测并对比两个文档中相似的部分，并将对比结果输出。使用方法很简单，只需选择两个要对比的 Word 文件，然后点击开始对比按钮即可。这个工具将会高效地分析两个文档，突出它们之间的相似之处，并为您提供清晰的对比结果。

Text-to-SQL技术旨在实现人与数据库之间的智能交互，其核心任务是将自然语言问题转化为数据库查询语言SQL。通过Text-to-SQL技术，用户可以直接使用自然语言提问，系统则自动生成相应的SQL查询语句，从而简化了用户与数据库的交互过程。

Gradio是一个用于构建用户界面的Python库，可以轻松地构建和共享原型、演示和API。它提供了一个简单的方法来加载和运行Python函数，并以可视化的方式展示输入和输出。在本文中，我们将介绍如何使用Gradio的.Interface来构建一个可视化界面。

130856474 <-- 在这里。原始的Latax文件可以进群拿哦。Smooth L1损失函数。

这个项目是让绘制的动画图片动起来，还能绑定人体的运动进行行为定制。