m0_57057282的博客

原创 python+docker实现分布式存储的demo

然后我们以后还可以扩展，将docker-compose启动的镜像换为三个不同的镜像来完成你的项目需求（例如分布式机器学习，训练模型等等），整体的demo是搭起来了，后面你的具体需求就需要你自己修改实现了。上面的demo是用docker-compose启动三个容器（这三个容器的镜像都是由同一个Dockerfile实现的），然后实现的功能就是，比如我往容器一存东西，然后可以在容器2，容器3查看到。

原创 使用kaggle提供的免费gpu来实现语音克隆

8.kaggle的运行环境只是它的冰山一角，它还提供了保存功能，是类似于github的那种保存，会把你每一个保存时的状态保存，方便回溯，非常好，非常方便。4.剩下的就没什么了，但是在我cpu环境下载好对应文件后，切换gpu运行代码时，python环境需要重新下载，但这也比colab强。1.首先，kaggle自带的资源是每周提供给你30h的gpu使用时间（你要验证过手机号才可以拥有这个功能）之前买的colab的gpu计算单元过期了，好吧，我们来试试kaggle的免费算力。

原创 实现对图片或者视频增加隐藏水印和提取水印

嵌入水印： blind_watermark --embed --pwd 1234 examples/pic/ori_img.jpeg "watermark text" examples/output/embedded.png。这个没什么，就是在上面的基础上，对视频进行分帧，然后对每帧进行水印的添加，然后再加添加了水印的图片合成video，还有对每帧进行水印的提取。很简单，就是按着命令后走就行，但是问题是：公司的图片里面隐藏的水印的加密方式，我们也不知道啊，我提取了一下我的截图，出现的就是乱码。

原创 python的包引入

但这通常不被推荐，因为它会导致代码的可移植性和可维护性降低。.和..只能在包内部使用，比如a2中导入a1的方法。上面的main是可以运行成功的，但是如果你在其中。，而不是文件系统路径。

原创 faiss向量数据库实现rag

3）读取pdf和docx。

原创 redis的实践

1.redis和mysql的区别2.单redis实践（python）1）python环境准备2）本机环境准备redis.conf默认位置: /opt/homebrew/etc/redis.conf(mac)3）启动redis服务使用redis-cli ping测试有没有启动成功，返回pong，说明已经正常启动4）py代码连接redis5） py代码连接redis插入十条数据然后我们使用redis-cli进入redis数据库，就像mysql -u root -p一样的功能6）启动持久化。

原创 python多线程处理xlsx，多进程访问接口

代码很简单，用了8个线程，处理scence.xlsx的数据，如果第八列和第六列的数据为空，则填写数据，这只是个小demo，后期还是要加对应的函数的。

原创 m1安装roop，本地运行，视频换脸

3.安装需要的python库，这里要将requirements.txt换为下面的内容。2.新建一个conda虚拟环境，python版本为3.10.6。4.python run.py ,结束。

原创 微信公众号接入通义千问回复

步骤很详细，一步一步的走就行，难的是个人服务器部署，响应token。这里我用的是flask框架，代码如下。

原创 大模型基础

现在网络太浮躁，对于ai，我们只想使用它们，却不知道具体的原理，所以然。这是一个AI草根的自我救赎，补充基础知识，概念。

原创 colab+ngork本地访问多模态大模型

将下面的代码放到一个新建的py文件，并且运行!chainlit run ui.py --host 0.0.0.0 --port 5000（在ngork后运行）在colab可以用；同时执行多个命令，但是要注意；4）运行ngork（先运行这个，在运行上面的命令）1）colab准备环境，我这里用的是l4。touch a.py。2）安装对应的python库。

原创 用openai和huggingface的whisper模型实现ai语音助手

使用whisper语音转文字的demo。完整ai语音助手的demo。

原创 llama-index+ollama实现rag详解

3)query展示了检索的细节，可以选择几条相似的数据。

原创 使用openai的function calling实现自动发送邮件，并用twilio实现自动拨打电话

然后写代码，记得在.env写入对应的key值。streamlit run app.py打开。下面是streamlit版本。用的是126邮箱，开启服务。

原创 mac-m1安装nvm，docker，miniconda

2.安装nvm（用第二个方法）1.安装miniconda。3.安装docker。

原创 使用twilio完成网上拨打电话和发送短信

to是你要拨打的电话，from是它送你的虚拟电话，或者你可以去买一个手机号码，url是这个电话拨通后，虚拟电话会说的话，你可以更改为自己的xml文件来说具体的话。首先是注册账户，然后它会给你个key和token，你可以免费用几次，但是只能给注册的手机号码打电话。这里我是用的python启动的本地服务，然后用ngork来使这个服务能够被本地访问。或者也可以采用twiml。

原创 llamaindex实现rag

RAGAs为RAG系统的评估提供了一种灵活且高效的方法，尤其是在缺乏人工标注数据的情况下。通过利用大语言模型的能力，RAGAs能够在多个维度上评估检索和生成的质量，从而帮助开发者优化和改进他们的RAG应用。

原创 livekitAI对话实践（python+next）

export LIVEKIT_URL=http://192.168.1.138:7880/（是启动的livekit的服务ip+端口号）export DEEPGRAM_API_KEY=(去官网创建就行)export OPENAI_API_KEY=（同上）启动成功后访问页面192.168.1.138:7800。2）根据下面的教程启动前端（next）和后端服务。1）根据上面的教程启动livekit服务。

原创 关于语音合成这方面的一个工具包的使用

3） VoiceTranscriber 该工具会将语音文件的内容批量转换为带时间戳的文本并以字幕文件的形式保存。1）AudioProcessor 该工具会将媒体文件批量转换为音频文件然后自动切除音频的静音部分。2）VoiceIdentifier 该工具会在不同说话人的音频中批量筛选出属于同一说话人的音频。4）VoiceConverter 该工具会将文字转为语音并生成音频文件。

原创 jmeter压测

原创 关于searxng

GitHub - ptonlix/LangChain-SearXNG: AI Q&A Search Engine ➡️ 基于LangChain和SearXNG打造的开源AI搜索引擎关于实习第一个任务就是部署SearXNG并且把集成搜狗微信这件事_searxng 架构-CSDN博客【好玩儿的Docker项目】SearXNG——自建一个属于自己的免费搜索引擎平台！尊重隐私、完全开源！-我不是咕咕鸽

原创 区块链Hyperledger Fabric2.2 环境搭建

3）运行 sudo ./network.sh up很慢很慢，于是手动下载。# step 4:更新并安装Docker-CE。4）下载docker镜像是最慢的，卡住了，换源。2）进行到最后一步了，但是docker报错。# step 1: 安装必要的一些系统工具。1）compose-up用的是apt安装。# step 3:写入软件源信息。

原创 twilio+python拨打网上电话

【代码】twilio+python拨打网上电话。

原创 fast-voice-assistant

but，你发现，这只是第一步，真正的难点在于完成.env中各个key的配置。首先我们来到这个据说50行代码就可以创建个人语音助手的github地址。一个提供大模型api-key的平台，类似于altogether。，主要用于构建高质量的音视频通话、实时数据传输和互动应用。这里需要申请，需要我用openai的key代替使用。后端python main.py dev。除了方便以外的大优势就是它提供了丰富的。一个最快的文本转语音模型Sonic。是一个开源的实时通信平台，基于。，支持多种平台，包括。

原创 亚马逊云服务器的使用

需要的密钥pem文件在创建实例的时候自动在浏览器下载。

原创 colab部署text-to-sql

3..env.example改为.env。

原创 关于一些搜索的longchain实践

请把对于问题'{query}'的答案从里面提取出来，如果里面没有相关信息的化就说“找不到”template = '''在>>> 和

原创 Transformer模型的调用过程与步骤

解码器（Decoder）：与编码器类似，解码器也是多个堆叠的层，每个层由三个子层组成：自注意力层、编码器-解码器注意力层（Encoder-Decoder Attention Layer）和前馈神经网络层。自注意力层的输入是词嵌入和位置编码，输出是经过自注意力计算的编码。它还提供了把模型的输出转化回文本的方法。编码器-解码器注意力层：在解码器中，这一层用于获取编码器输出的信息，以帮助生成下一个单词的预测。前馈神经网络层：通过对自注意力层的输出进行一系列线性和非线性变换，得到最终的编码输出。

原创 Applied-Machine-Learning代码记录

最后，它使用训练好的模型对新的评论进行情感分析，输出正面情感的概率。首先介绍了一些关于聚类的方法，然后用假数据画图，告诉我们肘部法则确定簇是多少最合适，然后开始应用k-means解决一个现实世界的问题：根据客户数据对客户进行细分，以确定新产品或促销活动的目标客户，从而增加他们的购买活动。使用著名的[iris数据集]构建一个简单的监督学习模型(https://en.wikipedia.org/wiki/Iris_flower_data_set)，其中包含150个描述三种虹膜测量结果的样本。

原创 Axolotl微调Qwen2-7b开源大模型！AutoGen+Marker自动生成数据集！AutoGen Studio+GPT4评估Qwen2文章能力，vllm部署qwen

配置文件中fp16设为false bfp16设为true。4.用Axolotl 和生成的数据集微调qwen。2.autogen studio 安装和启动。3.AutoGen+Marker生成数据集。从huggingface下载模型并部署。qlora-fsdp.yaml配置。如果数据集内容太少，需要将。导入模型刚才运行的模型。

原创 firefly推理和微调qwen

这里我是将chat.py代码放到component文件夹下了，所以untils，而不是component.utils。在训练中，我们只保存adapter的权重，不保存合并后的模型权重。qwen-7b-sft-qlora.json内如如下。adapter与base model进行权重合并。environment.yml内容如下。train_qlora.py内容如下。6.docker打包conda环境。创建dockerfile。1.conda环境准备。6.合并后的模型推理。

原创 gpt4o-mini+CrewAI+RAG检索增强生成打造提示词工程师AI智能体

稍后我会更新如何用本地大模型来完成这个过程。运行docker，获得向量数据库。运行下面的代码将pdf向量化。运行代码，获得你先要的提示词。

原创 用docker完成分布式的搭建

先删掉之前残存的镜像删掉之前残存的容器。

原创 vscode+git解决远程分支合并冲突

现在的场景是我们本地cxh分支远程关联着远程cxh分支，我希望远程main分支合并远程cxh分支，但是报错，而且冲突太多不可以直接在github合并。合并冲突测试1/合并测试冲突1+合并测试冲突2/合并测试冲突2就行。上面的思路是首先切换到本地main，拉取远程main最新的代码。2）但如果是复杂的冲突，让我们回到vscode里面。再将本地main最新代码推送到远程main分支。1）远程分支和远程分支不复杂情况合并。然后将本地cxh合并到本地main。例如readme的冲突。《《《/》》》也要删掉。

原创 完成stable将图片转换为二维码

sd-webui-controlnet不显示，报错ImportError: cannot import name 'load_file_from_url' from 'modules.modelloader'1）首先会遇到安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple basicsr==1.4.2卡住的问题。3.安装依赖（-i https://pypi.tuna.tsinghua.edu.cn/simple 清华源安装）

原创 llama3.1-8B-微调

库中用于特定任务（例如微调）的训练类。代码配置了训练参数、数据集和模型，并为训练过程定义了一些关键设置。3）应用LoRA技术来减少模型训练和推理时的内存使用，同时保持模型性能。进行模型推理，生成一个给定指令的响应。9）推送模型到hugging-face。4）加载一个数据集，并规范格式。实例，用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。

原创 Transformer自然语言处理实战pdf阅读

文本摘要的目标是输入一段长文本，然后生成包含所有相关事实的简 短版本。这是一项比前面所讲任务复杂得多的任务，因为它需要模型 生成连贯的文本。我们通过以下熟悉的模式实例化文本摘要：得出的摘要还不错！尽管其只是简单地复制粘贴部分原始文本，但该 模型能够捕捉到问题的根源，并正确识别“Bumblebee”（出现在输入 文本的末尾）是投诉者。

原创 本地使用不了hugging-face的数据集，解决办法

1.colab可以访问，直接处理。

原创 阿里云ubuntu宝塔面板部署uni-app-flask-websocket前后端项目

但是令我惊奇的是，我发现，打开ip，不仅仅前端有了，后端也有了，好吧，打包的时候忘记改前端对应的后端ip了，一会再打包一下吧。========================面板账户登录信息==========================现在访问ip还是会报错，原因是打包的前端文件里访问的是本地的后端接口，改为我的ip才对。#SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则。部署成功后，在浏览器输入你的ip即可访问，我们可以看一下宝塔面板的nginx设置。

原创 GraphRAG+ollama+LM Studio+chainlit

这里我们进一步尝试将embedding模型也换为本地的，同时熟悉一下流程和学一些新的东西1.环境还是用之前的，这里我们先下载LLM然后你会在下载nomic模型的时候崩溃，因为无法搜索，无法下载解决办法如下按照上面的教程依旧无法下载模型，但是可以搜索了，没什么用直接hugging face下载，然后导入llm models文件夹注意有格式要求将模型放在这个文件夹里才能被识别，然后加在模型然后修改配置。