蓝天嘿嘿-CSDN博客

原创 termius无法下载linux远端文件到本地windows电脑，权限不足的报错

真是见了鬼，本来以为20分钟就搞完了，没想到反复折腾一个小时还不行，结果折腾的过程中，把linux的用户主目录权限改大了，又导致公钥认证不能进行了，真是越有事事越多啊，检查/var/log/auth.log日志，检查/etc/ssh/sshd_config配置文件都没问题，这个时候已经折腾到90分钟了，真是让我气急败坏，这么点个屁事搞了这么久，后来想到用scp进行文件下载，报错日志多一点可能会有所发现，果然发现了端倪，还好12点前搞定了，，，，，，这是我想，难道是linux上的下载文件有问题？

2024-05-16 23:52:27 319

原创书生浦语-测试compass 大模型评测实战

通过通义千问（没办法kimi的200K始终没有批准）上传了一份50MB的关于王阳明的pdf电子书，生成100道关于王阳明的问题，格式如下，忙活半天终于加载起来了，需要再安装，pip install protobuf，同时设置环境变量，终于做好了100道QA数据集，通义千问也是够可以，一次只能出20道题，必须要不停的说继续才行，，主意使用--costom-dataset-path进行加载，先准备环境，blablablabla，部署环境挺耽误时间的，接下来制作自定义的数据集，参考链接，

2024-05-02 02:14:13 37 1

原创书生浦语-Lagent & AgentLego 智能体应用搭建

的api，导入环境变量，还是重新运行api和web，注意天气的key需要导入运行web的终端的环境变量，否则会识别不出来，速度很快，免费的key一天可以查询1000次，- **二进制包限制**：虽然许多包提供了预编译的二进制版本（如wheel文件），但并非所有平台或版本都有对应的二进制包，这可能导致安装失败或需要从源码编译。因为其中涉及到的python包是通过源码安装，等待过程中查了查pip安装和源码安装的对比优缺点如下，gpt4拉出来的，有不准确的地方大家多提宝贵意见，

2024-04-23 00:47:07 683

原创 Azure安全策略更新？揭秘SSH（密钥方式）连接失败的背后真相

也就是需要把目录权限调整到只能ssh的账号自己访问，chmod go-w /home/dingdingtest 执行之后就好了，但是吊诡的是，这个目录权限确实调整过，但这是几个月前的事了，这几个月用的都好好的，怎么今天就突然出问题了？SSH对用户主目录的权限有严格的要求，特别是当使用公钥认证时。用最新的Llama3查了一下，这家伙一会中文一会英文的，看来是标准的真洋鬼子，不过问题还是查到了，以为是密钥有问题了，到auzre上重新生成私钥下载下来再导入termius，还是报一样的错误，

2024-04-21 21:47:50 676 2

原创书生浦语-茴香豆技术助手（专有知识库）

注意修改换环境变量的时候，其中测试大概率不会配置域名和证书，需要将 `export COOKIE_SECURE=1` 替换为 `unset COOKIE_SECURE`，否则登录的时候会报错，部署nodejs的时候需要注意版本，可以看到，如果命中文档，会有提示参考自哪里，如果没有关联性，会提示不是问题等等，使用不复杂，接下来进行本地服务器部署茴香豆的测试，（配置文档，进行了测试，我以为可以进行上传文档总结，看来不支持，只是做问题的向量匹配，融合为prompts一起发给llm，克隆代码到本地，进行编译，

2024-04-20 17:40:07 148

原创书生浦语XTuner 微调个人认知

测来测去，还是网络问题，这时候我才发现，其实我应该在书生的平台上直接传就好了，而我傻了吧唧的把模型文件下载到电脑上，再通过电脑上传，算了当测试windows客户端环境了，我也一怒之下换了手机热点上传，果然不断了，尴尬啊，反正流量足够，，，接下来将微调后的lora模型文件与原模型进行合并，因为不是全量的微调，所以必须把微调的后的权重参数也就是adapter的文件合并到原模型文件中，生成最终的模型权重进行加载才能进行最终的测试，看微调效果如何，进行基础配置等等，没留神，资源时间到了，，，尴尬，，，

2024-04-20 13:02:30 582

原创书生浦语LMDeploy量化部署LLM和VLM实践

进入InternStudio平台，创建开发机，使用10%的A100即可，这部分实验进行之前，看说明是10%即可，不过想操作的快一些投机取巧用了30%的GPU，不过实际操作的时候发现，你给多少GPU显存基本都会被用光了，实际推理的时候基本上都是90%以上GPU显存占用。因为开的是30%A100，全搞定了，还剩一些时间，不用了也浪费，把加餐的作业也做了，就是比较transformers和lmdeploy的速度，这个速度差距挺大的，45和230！使用AWQ算法，实现模型4bit权重量化，接下来就做这个测试，

2024-04-13 22:39:22 239 1

原创轻松玩转书生·浦语大模型趣味 Demo-语言模型，多模态模型

接下来使用测试多模态的利器，龙珠百人图，之前测试gpt4-v偷懒，智谱更偷懒，只要gemini pro认真分析，看看书生的如何，可惜更偷懒，不过7B的模型这样也不错了。基本上把书生的算力平台熟悉了一遍，jupyter，vscode，terminal都支持操作也比较方便，书生的几个模型中规中矩没有做过多的测试，太困了，交作业睡觉了。接下啦测试agent，lagent模型，需要加大显存了，做个算术题不在话下不过显存也干到快30GB了。接下来测试书生模型中的多模态，画图，显存需要升级到40GB才能跑起来了。

2024-04-10 00:44:51 145 1

原创书生·浦语大模型全链路开源体系学习笔记

书生浦语大模型的用途是支持多种不同规格的语言模型，可以通过修改配置进行模型的预训练和微调。此外，书生葡语大模型还有丰富的模型推理的接入，包括数据污染检查的一些功能，常用的能力评测，以及中英文双语的一些主观评测。INTEEVIL：用于模型预训练的框架，开发了x ta这样的一个微调框架，在大模型的下游应用里面，支持增量续讯和有监督的微调。INTETRAIN：用于模型预训练的框架，支持多种不同规格的语言模型，只需修改配置即可进行模型的预训练。2021年9月，发布7B迁移参数模型。

2024-04-02 00:31:40 124 1

原创极客时间 AI 大模型微调训练营0期学习总结

以上几个层面，普通人最多也就能在微调领域试试水了，一块16GB的T4显卡，通过INT4级别的量化也可以微调一些7B左右的模型，在一些垂直领域使用，但这也只是从起步的成本说起，额外的成本比如说用于微调的数据集现在通用的方式通过GPT4进行整理，消耗的token也是不小的开支，如果想商用，实现高并发，还需要一些工程化的技术比如通过k8s落地也不是一两个人能搞定的，普通人想要自己尝试微调，最多也就是一个实验的层面在小范围内使用。最后，我要花时间去补补线性代数和机器学习的基础知识。

2024-02-18 23:56:50 513

原创如何部署ChatGPT-Next-Web本地开发环境

然后就可以运行yarn build进行构建了，注意服务器的资源确保4c，16GB否则构建过程系统资源会吃到百分之百最终导致失败。经过不断的对项目文件的摸索，不断的翻看提交的issue终于把部署方式搞清楚了总结如下，以ubuntu系统部署为例。运行 sh startweb.sh即可，终于可以开心搞自己的ChatGPT了！yarn install ，注意看package.json文件需要在目录中。接下来进入目录，安装依赖包。

2023-12-30 00:49:57 1216 2

原创当技术遇到预算：一场网络安全危机的背后故事

做网络运维时间长了，有时候也挺BT，总处理问题会不爽，总处理老问题也不爽，总处理诡异问题也容易早衰，但是总遇不到又会心里痒痒的。如果你以为这就结束了，那么就完全错了，第二天防火墙cpu继续升高，问题依旧，又出现了新的外联地址，隔半小时更换一个，如果防火墙本身具有ips防护模块这个问题处理也就是非常简单，但是现在的问题是啥高级防护工具也没有，甲方又开始娇嗔起来，“我把一切都给了你，啥也不剩，赤诚相待了，你必须负责”，带着脚镣跳踢踏舞，真是难啊。完活，走人，留下一份防火墙ips服务的报价单，深藏功与名。

2023-12-16 20:05:32 36

原创当监控摄像头突然黑屏：一个IT工程师的周末奋斗

接下来，我开始了一步步的排查工作。接着，我重启了核心交换机和门卫室交换机，门卫室的监控恢复正常，但办公室的监控突然全部黑掉，这让人感到非常奇怪。然后我与甲方领导深入地交谈，你们的销售额也是几个亿了，国家电网的生意都开始做了，就别这么省钱了，买一套华为企业级无线设备多好？上午的工作非常顺利，更换防火墙，核心交换机，部署UPS，调整PDU强电等等，顺利到让人觉得中午都不用在这个甲方的食堂吃饭了。下午也很顺利，部署了备份一体机，设定了备份计划任务，部署了主机防护，部署了杀毒软件，设定了策略，推送了域组策略。

2023-12-16 20:00:35 65

原创通过langchain的LLMChain和SimpleSequentialChain学习一项新技能

我们在年轻或者年老的时候都会学习不同的新技能，小时候在幼儿园经常要学习如何尿尿的更远，年老的时候要学习如何不把尿尿到裤子里，总之活到老学到老，总归有一项新技能等待着你去学习去探索，当LLM出现之后学习的方法也发生了一定的改变，各种技能精熟的老师遍地都是，如温馨一盐，同意倩文，心肺性火等等，我们又可以利用狼晨把以上的乐乐米玩弄于故障之中，以下是在极客时间学习langchain的一些小例子之一，利用llm+openai学习一项新技能。

2023-08-28 22:36:44 97