- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 wow-agent---task4 MetaGPT初体验
三，概念：让大模型具备agent能力，你需要指定动作action，这个动作可以是写教程，做诗，和自己吵架（辩论），OCR处理，网页自动化等。一般是在workspace目录下生成，会有个main.py的运行文件，不过这里需要手动安装一下pygame包，运行后这个游戏是可以执行的，目测可以直接用来可以当demo。在下载后的目录中有一个config文件夹，里面有一个config2.yaml的文件，修改并保存，这里使用zhipu的api进行实现，示例。，参考这里的以开发模型进行安装。结果是可以正确的回答。
2025-01-26 23:35:06
772
原创 wow-agent---Day3 Zigent 智能代理开发框架
这个框架是课程讲解的，但资料比较少，觉得框架比较小众，所以这里只分析代码，打算把更多的精力放在metagpt的学习上，毕竟还是要学教为主流的框架，这对后续维护升级都有帮助，当然感兴趣作为研究，可以研究下这个小框架。代码目的是要生成一个一个教程编写智能体，其主要功能是输入教程主题，然后自动生成完整的教程内容，首先定义WriteDirectoryAction类，用于生成教程的目录，然后再定义生成教程的类，最后是执行层的代码。
2025-01-19 21:51:16
202
原创 wow-agent---task2使用llama-index创建Agent
后记：要充分了解agent的相关概念如LLM模型，嵌入模型，工具调用实现，向量数据库，RAG实现等，再熟悉llama-index的基本使用，以上代码还是可以很轻松的学会，况且你还有各种在线的LLM帮你来解答，个人认为未来agent开发模型会向低代码或无代码化继续演进，接合 RAG可以实现让LLM快速理解领域知识，从而可以更好的深入服务于各个垂直行业的业务。首先要创建数据库，这个以sqlite为例进行创建。最后让LLM调用add工具进行俩个部门的人数统计。文本内容huahua.txt。
2025-01-17 23:30:20
550
原创 wow-agent——task1初识Agent
task1的代码没有什么可以讲的，这里我采用的本地的模型实现的。后面会贴出代码，实现上还是比较简单的，这里主要说下LangGPT也就是结构化prompt,通俗的说是模板。这里我们可以借助kimi的提示词专家帮我们生成---Kimi提示词专家是Kimi联合LangGPT推出的专门设计来帮助用户更好地构建提示词（prompts）的工具。现在想想这些还真有可能，给大模式增加调用工具的能力，再加上自我学习的菜谱，还是可以炒出一盘可以果腹的饭菜的。的方式，引导模型将复杂问题进行拆分，一步一步地进行推理（
2025-01-14 21:55:06
300
原创 大模型减肥之NNI方法框架
NNI（Neural Network Intelligence）是一个开源的神经网络自动化调优框架，它提供了模型压缩的工具包，帮助用户设计并使用剪枝和量化算法来压缩模型。以上是models.py的文件，展示了一个完整的训练和评估流程，包括数据预处理、模型构建、训练、评估和学习率调度。以上是剪枝的例子：在CIFAR10数据集上微调ResNet18模型，并应用L1或L2剪枝来压缩模型。函数，代码还可以用于模型压缩和自动化调优。
2024-11-29 23:16:42
552
原创 大模型减肥秘籍---知识蒸馏
soft-target包含了更多的信息用来训练学生模型---像谁，不像谁 ，有多不像，有多像。从参数较大的模型换成参数较小的方法还有一种是蒸馏，蒸馏的核心关键点是模仿，即在教师模型下指导学生模型进行模型压缩，默认老师模型的模型就是已经训练好的大模型。进尔实现大模型到小模型的转化。online distillation---教师和学生同时学习 ，同时更新，这种算法是一种有效的E2E可训练的方法。offline distillation---教师模型是已经训练好的，用知识迁移到方式让学生模型进行模仿。
2024-11-24 21:50:31
225
转载 大模型减肥之神经网络架构搜索
训练一个非常大的模型，大模型包含了很多我考虑的模型架构，只要训练一遍，对于每个考虑的子模型，模型性能和参数都能拿到。只关心各个子模型的排行rank，而不关注在数据上的具体精度。EfficientNet是同时调整三个因素，因为计算复杂度是层数*宽度的平方*输入分辨率的平方，所以一般调整大小为αβ²γ²≈2，使得计算复杂度增加一倍，只需要调整系数，便可控制计算复杂度；本想写一篇自己理解的笔记，但是偶然在B站看见沐神讲的这个，还有一位认真写笔记的同学写的笔记感觉比我自己写的好，于是转载过来和大家一起学习。
2024-11-21 21:27:12
42
原创 大模型减肥秘籍2---量化
训练阶段采用“伪”量化的方式，将权重和激活的量化误差引入到反向传播过程中，在梯度更新时使用高精度的浮点数进行梯度计算和更新，使模型在训练中即提前“感知”到推理阶段由量化引发的误差， 模型能够在推理阶段更好地适应量化后的参数，从而减少精度损失。方式：将高精度的浮点数降低到低精度表示，主要分为称量化和非对称量化两种方式，二者的代表方法是最大绝对值量化和零点量化。目的：减少内存占用，提高推理速度。量化的目的即是尽可能不损失模型性能（减少量化误差）的基础上，将数值从高精度表示降低到低精度表示，同时最小化信息损失。
2024-11-18 14:46:56
243
原创 大模型减肥秘诀1---Pruning
二， 剪枝分为非结构化和结构化，前者是随机对独立的权重或神经元链进行剪枝；一般来说非结构化的简单，压缩比例高，缺点是精度不可控，权重矩阵稀疏，没有专用硬件难以实现压缩或加速效果。结构化的保留原始卷积结构，但算法相对复杂。三， 剪枝的流程：这里就说比较经典的流程，训练---剪枝---微调。四， 算法：L1-NORM算法是比较经典的剪枝算法，是基于channel的，认为如果一个filter的绝对值比较小，说明该filter并不重要。细说一下：pruning 之后的稀疏模型可在小精度下降的情况下减少资源的使用。
2024-11-15 23:43:35
260
原创 大模型为啥要减肥
现在的大模型参数越来越大，4500亿参数的大模型也已经出现了。除了在云上运行，我们也想让模型在手持设备上，本地PC或服务器跑起来。于是，大模型要开始减肥了。可以去除一些冗余的神经元，就像修理树枝一样，所以专业术语叫做剪枝。同时可以减少适当的精度来达到减肥的目的，这种一般也叫做量化。总之这类将模型减少尔不失去原来效果的方法我们一般叫做模型压缩技术。准确率，参数量，推理时间，吞吐量等可以作为较为直观的评估指标。最后，我们要用科学的方法合理的给模型减肥，这类大模型将会成为你的贤内助，辅助你更好的生活和工作。
2024-11-12 23:27:13
333
原创 从零入门 文生图 Prompt攻防task3
3.结合rag，编写文档，将攻防的技能或规则形成标准的格式，上传并生产向量。在进行提示工程时可进行引用。1.使用更强大的模型如qwen2.5:7b或llama3.1-8b等，我的硬件也就用这个量级比较流畅。4.多次生成，这个类似LLM多练习多记忆吧，但要注意纠正负向的输出。5.自动化评测，这个还没做，感觉可以提示一些效率吧。2. 善用提示工程，对一些敏感的词进行相似的替换。大致就是这么多，后续会再补充，欢迎交流。
2024-10-18 22:59:33
207
原创 从零入门 文生图 Prompt攻防task2
本次是尝试用模型训练出的语句来绕过ShieldLM-7B-internlm2的检测，下载这个模型花了很长时间，估计今晚也下不完。
2024-10-15 23:07:21
156
原创 从零入门 文生图 Prompt攻防task1---跑通baseline
使用moda魔搭平台clone现有工程进行跑分，整个过程约7分左右，最后生产一个跑分结果并提交到另外一个天池平台进行评分。整体教程使用较为简单，不过个人感觉最好有本地运行的实例。
2024-10-11 22:46:48
297
原创 LLM-universe 第六课实践项目
本次课程共分享了俩个项目，这里仅记录了学习心得和框架分析，实际操作可以自己clone下来学习。最低层是LLM调用封装层，上面是数据层和库层，再往上是应用层和服务层。使用langchain来贯穿整个后台，项目主要是通过将MD文件抽取与概括，生成知识库，在向量处理上使用langchain进行文本切割，并进行了索引优化和查询算法加速。LLM层直接调用通过大模型减少开发成本。弊端是目前还不支持用户自主上传知识库。
2024-04-27 14:46:43
260
原创 LLM-universe 第五课评估LLM应用
大语言模型的评估一般分为人工和简单自动评估，还可以用大模型来评估。对于不同的应用可能需要考虑多维度的评估标准。
2024-04-26 11:36:37
263
1
原创 LLM-universe 第四课部署知识助手
示例用的是自定义LLM方法来调用智谱api，我采用的是langchain提供的方法来调用，更简单。三，基于streamlit部署，这部分跟随示例就好，略。一，LangChain调用LLM。
2024-04-24 10:36:55
573
原创 LLM-universe 第三课搭建知识库
存储向量的库当然就是向量数据库了，但这和我们传统的数据库还是有些区别的，传统数据库一般需要精准的查找，而向量数据库需要的是一定相似度查找。
2024-04-22 15:27:21
947
1
原创 LLM-universe 第二课prompt工程
本课主要是调用LLM-API接口，并学习提示工程，在LLM这里你可以认为输入就是prompt，输出就是completion，高质量的prompt会产出跟精准的completion。这里以调用智谱清言的api为例子：感受不一样prompt的魅力吧，调试过程共使用约2w的tokens。
2024-04-19 14:48:10
791
1
原创 LLM-universe 第一课实践小记
本人使用本地搭建环境，安装anaconda后按文章提示创建好名为llm-universede的python环境。通过第一课的学习与研究主要是LLM的概念，RAG检索增强生成等知识。本课的主要机操是在阿里云或本地搭建环境。创建成功后使用conda env list 查看并激活。最后使用清华源安装requirements.txt即可。
2024-04-16 22:20:19
376
原创 2014 软件测试发展汇总与展望
本文参考-2014年中国软件测试现状调查报告，针对此报告对测试发展与技术内容加以总结与展望1.测试人员的工作量化指标：测试需求；测试用例；缺陷。测试中形成的数据；完成百分比。测试前的准备：功能熟悉，测试方案准备2.自动化测试工具QTP仍占主流，但份额有所下降；selenium上升趋势明显。3.性能测试工具LR仍占主
2015-07-01 21:27:03
710
原创 2015主流软件测试工具小结
人在测试界混，总要了解些测试工具。如同江湖人士得知道倚天剑，屠龙宝刀一样。首先要说下市场占有率与使用率较高的HP公司的测试套件（原MERCURY公司）QTP，用于自动化测试的工具，现已改名为UFT，最新版为V12。LR，用于性能测试的工具，最新版为V12。TD, 用于测试管理，现已改名为ALM，最新版为V12。此三款工具在一起使用，有特殊的加成效果，可形成独有的
2015-06-30 23:10:58
2649
原创 Shell 脚本中的进入目录命令cd
由于工作原因每次开启服务器后都是执行以后步骤：1. 进入制定的目录2.开启一些服务3.查看进程，服务是否开启编写脚本如下st.sh#!/bin/shsudo sucd /etc./start.shps -ef | grep exe执行完后执行 pwd 发现还在/root下。不解放狗搜之发现：脚本是由shell终端fork产生的子shel
2012-02-03 10:03:11
7254
原创 MYSQL入门小结
本篇文章基于《MYSQL必知必会》1.了解MYSQL数据库，表，列，类型，主键：唯一区分表中的各行2.MYSQL简介略3.使用MYSQLshow databases; use database; select database(); show tables; describe table;4.检索数据select * from table limit 1;
2011-12-09 23:15:19
404
原创 MYSQL 小技巧集锦
可以使用UI客户端来操作MYSQL,推荐一个：NAVICAT。1.与perl语言的连接首先用PPM包文件管理下载DBI,DBD-mysql俩个包，然后编写以下脚本：#!/usr/bin/perluse DBI;my $dbname="mysql"; #访问的数据库my $location="10.10.10.87"; #IPmy $port="3306";my
2011-12-09 22:10:33
263
原创 Introduce myself
哥是个很懒的人，但是懒也得学习啊，不能不求上进的说，于是今天向大家介绍自己，一来是借贵宝地写下平时工作上的总结，二来希望在这里交到更多的童鞋一起进步：1.本人工作五年有余，先后在台湾工厂，某500强企业，上市欧美公司，私企干过，目前在某公司担任软件测试工程师一职。2.职业主攻方向：国际化软件测试顾问(系统测试)。重点关注：项目管理与测试技术。3.目前主要技能：
2011-12-05 22:24:58
641
转载 写给所有的IT民工们
从来没有想过自己会加入这一行， 从开始自己喜欢的专业通讯，到后来喜欢的管理，想过是专业高手，幻想过管理专家，却从来没有想过进入这一行，但真的在我刚刚离开校园的时候发生了，短短几天，对这个行业有了一个感性认识，其实最让自己伤感的不是自己没有干这一行的经验，而是代理的人，要找的人都是薪水100万，现在才发觉IT一行，有钱人真多!想想大家都在讨论一个月3000还是4000的时候，别人都是100万，而
2007-08-27 10:00:00
407
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人