- 博客(114)
- 收藏
- 关注
RSS订阅原创 关于一些搜索的longchain实践
请把对于问题'{query}'的答案从里面提取出来，如果里面没有相关信息的化就说“找不到”template = '''在>>> 和
2024-08-21 13:34:44
297
原创 Transformer模型的调用过程与步骤
解码器（Decoder）：与编码器类似，解码器也是多个堆叠的层，每个层由三个子层组成：自注意力层、编码器-解码器注意力层（Encoder-Decoder Attention Layer）和前馈神经网络层。自注意力层的输入是词嵌入和位置编码，输出是经过自注意力计算的编码。它还提供了把模型的输出转化回文本的方法。编码器-解码器注意力层：在解码器中，这一层用于获取编码器输出的信息，以帮助生成下一个单词的预测。前馈神经网络层：通过对自注意力层的输出进行一系列线性和非线性变换，得到最终的编码输出。
2024-08-19 17:37:25
227
原创 Applied-Machine-Learning代码记录
最后，它使用训练好的模型对新的评论进行情感分析，输出正面情感的概率。首先介绍了一些关于聚类的方法，然后用假数据画图，告诉我们肘部法则确定簇是多少最合适，然后开始应用k-means解决一个现实世界的问题：根据客户数据对客户进行细分，以确定新产品或促销活动的目标客户，从而增加他们的购买活动。使用著名的[iris数据集]构建一个简单的监督学习模型(https://en.wikipedia.org/wiki/Iris_flower_data_set)，其中包含150个描述三种虹膜测量结果的样本。
2024-08-14 14:43:05
760
原创 Axolotl微调Qwen2-7b开源大模型！AutoGen+Marker自动生成数据集！AutoGen Studio+GPT4评估Qwen2文章能力，vllm部署qwen
配置文件中fp16设为false bfp16设为true。4.用Axolotl 和生成的数据集微调qwen。2.autogen studio 安装和启动。3.AutoGen+Marker生成数据集。从huggingface下载模型并部署。qlora-fsdp.yaml配置。如果数据集内容太少，需要将。导入模型刚才运行的模型。
2024-08-14 11:48:52
254
原创 firefly推理和微调qwen
这里我是将chat.py代码放到component文件夹下了，所以untils，而不是component.utils。在训练中，我们只保存adapter的权重，不保存合并后的模型权重。qwen-7b-sft-qlora.json内如如下。adapter与base model进行权重合并。environment.yml内容如下。train_qlora.py内容如下。6.docker打包conda环境。创建dockerfile。1.conda环境准备。6.合并后的模型推理。
2024-08-12 11:55:09
193
原创 gpt4o-mini+CrewAI+RAG检索增强生成打造提示词工程师AI智能体
稍后我会更新如何用本地大模型来完成这个过程。运行docker，获得向量数据库。运行下面的代码将pdf向量化。运行代码，获得你先要的提示词。
2024-08-08 14:03:36
222
原创 vscode+git解决远程分支合并冲突
现在的场景是我们本地cxh分支远程关联着远程cxh分支，我希望远程main分支合并远程cxh分支，但是报错，而且冲突太多不可以直接在github合并。合并冲突测试1/合并测试冲突1+合并测试冲突2/合并测试冲突2就行。上面的思路是首先切换到本地main，拉取远程main最新的代码。2）但如果是复杂的冲突，让我们回到vscode里面。再将本地main最新代码推送到远程main分支。1）远程分支和远程分支不复杂情况合并。然后将本地cxh合并到本地main。例如readme的冲突。《《《/》》》也要删掉。
2024-07-29 18:06:46
558
原创 完成stable将图片转换为二维码
sd-webui-controlnet不显示，报错ImportError: cannot import name 'load_file_from_url' from 'modules.modelloader'1）首先会遇到安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple basicsr==1.4.2卡住的问题。3.安装依赖（-i https://pypi.tuna.tsinghua.edu.cn/simple 清华源安装）
2024-07-29 16:17:34
706
原创 llama3.1-8B-微调
库中用于特定任务（例如微调）的训练类。代码配置了训练参数、数据集和模型，并为训练过程定义了一些关键设置。3）应用LoRA技术来减少模型训练和推理时的内存使用，同时保持模型性能。进行模型推理，生成一个给定指令的响应。9）推送模型到hugging-face。4）加载一个数据集，并规范格式。实例，用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。
2024-07-26 15:09:49
558
原创 Transformer自然语言处理实战pdf阅读
文本摘要的目标是输入一段长文本，然后生成包含所有相关事实的简 短版本。这是一项比前面所讲任务复杂得多的任务，因为它需要模型 生成连贯的文本。我们通过以下熟悉的模式实例化文本摘要：得出的摘要还不错！尽管其只是简单地复制粘贴部分原始文本，但该 模型能够捕捉到问题的根源，并正确识别“Bumblebee”（出现在输入 文本的末尾）是投诉者。
2024-07-23 18:01:13
955
原创 阿里云ubuntu宝塔面板部署uni-app-flask-websocket前后端项目
但是令我惊奇的是，我发现，打开ip，不仅仅前端有了，后端也有了，好吧，打包的时候忘记改前端对应的后端ip了，一会再打包一下吧。========================面板账户登录信息==========================现在访问ip还是会报错，原因是打包的前端文件里访问的是本地的后端接口，改为我的ip才对。#SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则。部署成功后，在浏览器输入你的ip即可访问，我们可以看一下宝塔面板的nginx设置。
2024-07-22 15:21:55
1056
1
原创 GraphRAG+ollama+LM Studio+chainlit
这里我们进一步尝试将embedding模型也换为本地的，同时熟悉一下流程和学一些新的东西1.环境还是用之前的，这里我们先下载LLM然后你会在下载nomic模型的时候崩溃，因为无法搜索，无法下载解决办法如下按照上面的教程依旧无法下载模型，但是可以搜索了，没什么用直接hugging face下载，然后导入llm models文件夹注意有格式要求将模型放在这个文件夹里才能被识别，然后加在模型然后修改配置。
2024-07-19 14:43:05
695
原创 解决一下git clone失败的问题
然后我git clone http://github-private:github_pat_11A6PKOQI0INufjeDoJTUXUIY2IF62Vblnvn@github.com。git clone http://token名字:token的值@github.com/用户名/仓库.git。然后我们git clone git@github.com:lx1/sun01.git。然后我又用了我同事的token试了一下，依旧不行，我真的裂开。于是我用我同事（创建者的token）试了一下，终于成功了。
2024-07-16 11:55:42
1242
原创 前端传给你用户id和token，你该如何做
2.如果token不为空，你要对这个token进行解密：看解密后的用户id与传过来的id是否对的上，如果对的上，则返回你想返回的东西，如果对不上，则返回error。3.解密后的时间对的上吗，如果token你设置的有效时间是2小时，过期了，就要重新返回一个新的token。1.如果一开始传过来的token为空（即用户第一次使用这个功能），你要生成一个token并返回。前端传给你用户id和token。作为后端，你要进行思索。curl命令进行测试。
2024-07-15 16:47:34
216
原创 复学数据结构
线段树的时间复杂度为 O(logn)O(\log n)O(logn)，在需要频繁更新和查询的场景中非常有效。链表是一种数据结构，它由一系列节点（Node）组成，每个节点包含两部分：存储数据的部分和指向下一个节点的指针（或引用）。链表的第一个节点称为头节点（Head），最后一个节点的指针指向空（NULL或None），表示链表的结束。在下一步中，搜索A的最近节点的邻居，并且在后续步骤中继续处理。通过差分数组，我们可以将复杂的区间修改操作简化为对差分数组的简单操作，从而提升效率。例如，在我们之前的哈希函数（
2024-07-15 12:10:35
1057
原创 transformer的了解
3）有encode和decode两种模式，前者可以看到去拿不信息，后者可以看到部分信息（Transformer模型由编码器（Encoder）和解码器（Decoder）组成，两者共同用于序列到序列的任务（如机器翻译）。要减少 KV 缓存的大小）多头机制的实现：通过多个头（多个不同的Q、K、V矩阵），可以并行地处理输入数据，从不同角度进行注意力计算，从而增强模型的稳定性和泛化能力。Pre-Norm：在一些更深的网络或初期训练更困难的模型中，预规范化可以提供更稳定的梯度，防止训练过程中的数值问题。
2024-07-09 16:39:26
415
原创 有关区块链的一些数学知识储备
比如我们需要定义函数 f，满足 𝑓(1)=𝑥,𝑓(2)=𝑦,𝑓(3)=𝑧f(1)=x,f(2)=y,f(3)=z ，那么只需要定义两个集合 {1,2,3},{𝑥,𝑦,𝑧}{1,2,3},{x,y,z} ，二者进行笛卡尔积，并取结果的子集即可得到目标映射关系 (1,𝑥),(2,𝑦),(3,𝑧)(1,x),(2,y),(3,z)。得到最大公约数 gcd(30,24)=6gcd(30,24)=6, 而 (𝑥,𝑦)=(𝑥0,𝑦0)=(1,−1)(x,y)=(x0,y0)=(1,−1).
2024-07-09 15:16:33
1458
原创 ERROR in ./src/utils/route.js 2:0-24Module not found: Error: Can‘t resolve ‘path‘ in ‘C:\Users\lzt\
vue.config.js添加。
2024-07-05 10:24:04
112
原创 proto的前后端使用
生成 JSON 文件供 JavaScript 使用。首先定义一个input.proto文件。# 生成 Python 代码。
2024-07-01 10:42:26
212
原创 部分力扣题记
然后如果map（char）不为真，意味着是右边的部分）】}，我们就进行判断，如果map（char）=现在栈顶的元素stack.pop()，就返回真，不然报错。二叉树是一种树形数据结构，其中每个节点最多有两个子节点，通常称为“左子节点”和“右子节点”。然后遍历，如果map（char）为真，就意味着是左边的部分（【{，将其入栈。这个题首先你得手动构建一下二叉树结构，然后写一个方法将数组变为二叉树结构。我们利用map的特性，将（）【】{}，分别一一对应。这题用到了map和栈的知识点。最后用入栈和出栈实现。
2024-06-28 15:31:17
133
原创 threejs的学习（一）
然后你要在你创建的项目的index.html同级目录下新建一个src文件夹。将github上的项目里面的build的所有文件复制到js文件夹里面。然后成功创建之后，npm start。yarn install 安装依赖。选择第一个 Vanilla就行。yarn start 启动项目。然后用vite新建一个项目。npm run dev 启动。把这个项目clone下来。index.html代码。style.css代码。
2024-06-27 16:02:51
209
原创 使用MoA(Mixture of Agents)混合智能体技术,结合多个开源大语言模型如Llama3、phi-3和Mistral,实现一个强大的AI智能体
论文提出了一种称为混合智能体(Mixture-of-Agents,MoA)的方法,利用多个大语言模型(LLM)的集体智慧来提高自然语言理解和生成任务的性能。MoA采用了分层结构,每一层包含多个LLM智能体。每个智能体都将前一层所有智能体的输出作为辅助信息来生成自己的回答。通过迭代地综合和优化回答,MoA可以充分利用不同LLM的独特优势。实验发现,即使其他模型提供的辅助回答质量较低,LLM也倾向于生成更好的回答,体现出LLM具有内在的协作性。MoA正是利用了这种协作性。
2024-06-27 14:15:13
775
原创 vLLM本地部署GLM-4-9b大模型，ChatTTS+AutoGen实现多AI对话转语音！打造AI小说智能体！AI写高考作文
5）使用pyautogen完成用glm进行高考作文编写，并用gpt3-5评审的流程。8） chatTTS调用autogen的代码。3）用vllm以openai接口的形式运行。6)本地部署chatTTS（文字转语音）7）测试chatTTS。2）去魔塔社区下载模型。
2024-06-27 12:06:43
584
原创 Maestro实践
他就会生成对应的md文档和对应的文件夹结构，文档里面有对应的文件的内容，需要你自己创建文件并复制粘贴，我运行了一下，效果非常lllllllllllllllllllow。初步使用了一下，可能是我使用不当，感觉并没有很厉害。可能是我模型选的不对，而且还是量化过的，就这吧。比如我允许之后输入一个生成贪吃蛇小游戏。2)我用的是ollama。
2024-06-27 10:22:12
312
原创 protobuf的了解与使用
是一套完整的 IDL（接口描述语言），出自Google，基于 C++ 进行的实现，开发人员可以根据 ProtoBuf 的语言规范生成多种编程语言（Golang、Python、Java 等）的接口代码。据说 ProtoBuf 所生成的二进制文件在存储效率上比 XML 高 3~10 倍，并且处理性能高 1~2 个数量级，这也是选择 ProtoBuf 作为序列化方案的一个重要因素之一。3）定义对应的文件addressbook.proto。5）使用生成的Python代码。4）编译.proto文件。
2024-06-26 17:23:11
387
原创 如何查看websocket连接信息
Chrome 浏览器中查看 webSocket 连接信息_谷歌浏览器看不到 websocket-CSDN博客Getting Started — Flask-SocketIO documentation 运作原理 | Socket.IO
2024-06-26 16:24:12
294
原创 longchain实践
对话的一个重要组成部分是对话历史中的信息。我们将这种存储对话历史中的信息的能力称为"记忆"。Langchain的支持众多模型供应商，包括OpenAI、ChatGLM、HuggingFace等。2）可以调用huggingface的模型，也可以调用openai的。它的核心思想是利用一个语言模型来选择一系列要执行的动作。提供了一系列的类和函数，简化构建和处理提示词的过程。的子类可以实现这些回调函数来处理事件。接口对每一个可订阅的事件定义了一个回调函数。的链将一系列的动作硬编码在代码中。会调用相应的回调函数。
2024-06-26 11:59:48
741
原创 flask-socket的实践
首先要在app文件夹下建一个extensions.py文件，是为了解决在run.py和init.py里面循环引入socket的问题。1）TCP在真正的读写操作之前，server与client之间必须建立一个连接，然后后端接受前端传的消息并且调用对应的方法传参，再将结果传给前端。当读写操作完成后，双方不再需要这个连接时它们可以释放这个连接，所以说每个连接的建立都是需要资源消耗和时间消耗的。连接的建立通过三次握手，释放则需要四次握手，2）短连接就是我们平时登陆注册，建立的连接。主要就是前端点击发送按钮触发。
2024-06-24 16:07:04
513
java的压测道具java的压测道具java的压测道具java的压测道具java的压测道具java的压测道具java的压测道具j
2024-08-15
vscode+git基本操作vscode+git基本操作vscode+git基本操作vscode+git基本操作
2024-07-29
基于对话记录生成用户画像
2024-04-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人