wade1010的专栏

原创 搭建GraphRAG-Local-UI练习

vim requirements.txt 这里源码里面是没有指定版本的，我试过，但是没运行成功，由于成功之前也做了重新构建indexing目录，不确定是不是都需要改（有兴趣的测试可以确定下）后面可以修改下indexing目录下面的.env文件的配置，后期刷新页面，显示的模型就是我们想要的，要不然刷新下，就会默认设置为.env里面的模型。源码里面是有indexing目录的，我这里重新生成一遍（反正这么折腾后，是跑起来了）解决方法（2024-9-6 20:46:46有这个问题，预计后面会解决的那么白，）

原创 graphrag-ui安装使用

项目地址： https://github.com/wade1010/graphrag-uiGraphRAG-UI 是的用户友好界面,GraphRAG 是一个强大的工具,可使用检索增强生成(RAG)方法对大量文本数据进行索引和查询。本项目支持最新版graphrag，旨在为 GraphRAG 提供方便的管理和交互方式,支持配置 ollama 等本地大模型服务,使其更容易为广大用户所使用。

原创 Linux Ubuntu设置ollama保存模型的路径和设置监听端口

下载模型之前可以修改下模型默认保存路径。

原创 GraphragTest搭建及使用本地大模型练手

这里使用ollama启动本地大模型，然后graphrag使用本地大模型作为底座。

原创 GraphRAG4OpenWebUI搭建

上面的左边红色框，好像不能填127.0.0.1和localhost，报网络错误，不知道是open-webui还是GraphRAG4OpenWebUI的问题，不去细究。填自己IP就行，记得端口号防火墙开放。后来测试了一把使用非本地的大模型，上面的文本，4个文本，4章节西游记的txt，跑一次，就把我积分耗完了。然后传入一个1.txt（自己找一个txt）的文本到ragtest/input目录下。prompt_tune 由于我找到的中文的，要执行下面命令。下面的再问一个问题进行对比，local回答的是原文。

原创 快速安装flash-attn

不安装ninja，MAX_JOBS不起作用。MAX_JOBS根据自己硬件配置来设置。如果pip安装很慢，可以试试这个方法。经过10分钟不到，编译成功。

原创 SFT数据构建时间

然后在另外一台节点上启动多进程处理32万条原始数据，32万条数据平均分配到24个节点，然后构造prompt，让Qwen产生QA问答对。24台服务器，每台服务器配置一张40G显存的A100。耗时估算，大概每次请求耗时，平均下来10秒。

原创 Llama3-Chinese-8B-Instruct实操练手

2024-7-15 22:34:02系统环境：conda create -n llamafactory python=3.10看下当前版本vim download_model.pylocal_dir 设置为自己本地地址创建一个名为 quick_start.py 的文件，并将以下内容复制到该文件中。 模型替换为上面自己本地地址运行 quick_start.py 代码。报错如下解决上面的安装很慢，参考快速安装flash-attn再次运行 quick_start.py,还是有不对解决启动就能正常显示

原创 docker搭建dify实操、使用

操作日期：2024-8-26 linux操作系统 dify最新版本0.7.1。

原创 Langchain-Chatchat 本地源代码部署 二次开发

langchain-chatchat

原创 搭建DeepSeek-V2-Lite-Chat

纯简单记录。

原创 信息检索和文本生成相关学习

简单的方法生成质量比较低提供比Greedy decoding更好的质量如果beam size过高，会返回跟输入无关的输出(例如，通用、短)获得更多的多样性和随机性对开放/有创造力的一代人有好处(诗歌、故事)Top-n/p/温度采样允许控制多样性。

原创 BMTrain类Megatron+DeepSpeed原理学习

这一章节虽然是BMTrain，不是目前常用的Megatron+DeepSpeed，但是对于了解原理，也是很有帮助。

原创 2024-8-1搭建langchain-chatchat使用向量模型和oneapi

大部分参考官方教程下面是docker-composer.yaml文件，我修改了本地映射的目录。本地目录我都提前建好了。根据教程执行到 第五步 5. 启动 chatchat & xinference 服务 发现又报错解决如下（写教程的人，估计由于是已经部署好过一次，所以不记得先后顺序了）6.检查服务启动情况version如上, 服务均已正常启动, 即可体验使用.

原创 1分钟解决Docker镜像拉取失败

猜测可能是对抗的原因,无法连接到国外服务器.2024-8-1 14:44:28可以下载。

原创 有道云笔记迁移导出为markdown,后端使用PicGo,PicList

即可实现有道云笔记导出，并把里面的图片传到PicList，最终的markdown文档，复制到任意平台都能直接完美展示。然后在 config.json里面配置上我们搭建的PicList。使用我自己二次开发的项目。下面是运行的部分截图。

原创 windows,安卓等多终端用obsidian配置linux的piclist笔记多端免费同步

piclist官方文档piclist是picgo的二次开发产物，截至目前位置，功能更强大。图片能在obsidian里面直接粘贴，自动上传到piclsit，根据返回的url转换为markdown形式，最终的markdown随便复制到任意平台都能完美显示。

原创 linux(ubuntu20.04)+PicGo(gui版)+github+typora搭建笔记

写在开头，这是我最开始折腾的笔记，个人感觉这一套不好用，后面还折腾了一系列，感觉好用。

原创 3-2交易相关问题

原创 2-2区块链的本质及特性

原创 1区块链基本知识

原创 Nginx配置proxy_pass转发的_路径问题

在nginx中配置proxy_pass时，如果是按照^~匹配路径时,要注意proxy_pass后的url最后的/,当加上了/，相当于是绝对根路径，则nginx不会把location中匹配的路径部分代理走;如果没有/，则会把匹配的路径部分也给代理走。Nginx配置proxy_pass转发的/路径问题。当然，我们可以用如下的rewrite来实现/的功能。如上面的配置，如果请求的url是。

原创 nginx平滑升级

-add-module=/data/software/ngx_http_substitutions_filter_module是之前编译添加ngx_http_substitutions_filter_module模块时添加。3. 加入需要安装的模块，重新编译，如这里添加–add-module=/data/software/ngx_http_google_filter_module。#make完之后在objs目录下就多了个nginx，这个就是新版本的程序了。#把新的nginx程序覆盖旧的。

原创 mac或centos linux 安装install nginx

nginx 的 http 模块使用 pcre 来解析正则表达式，所以需要在 linux 上安装 pcre 库，pcre-devel 是使用 pcre 开发的一个二次开发库。zlib 库提供了很多种压缩和解压缩的方式， nginx 使用 zlib 对 http 包的内容进行 gzip ，所以需要在 Centos 上安装 zlib 库。OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及 SSL 协议，并提供丰富的应用程序供测试或其它目的使用。

原创 nginx平滑升级fastdfs-nginx-module记录

kill -USR2 `cat /opt/nginx/logs/nginx.pid` #让nginx把nginx.pid改成nginx.pid.oldbin 跟着启动新的nginx kill -QUIT `cat /opt/nginx/logs/nginx.pid.oldbin` #退出旧版的nginx 最后检查nginx的版本:/opt/nginx/sbin/nginx -V。

原创 为什么要用nginx来做反向代理

当用户访问localhost:8080/test.php的时候(这个时候nginx目录下根本就没有该文件)，但是通过上面的设置 location ~ \.php$(表示正则表达式匹配以.php结尾的文件，详情参看location是如何定义和匹配的。1)可以在nginx中定义访问不同的内容，代理到不同的后台server；这个同一页面的时候，我们实现两台服务器的负载均衡 (实际情况中，这两个服务器上的数据要求同步一致，这里我们分别定义了打印server1和server2是为了进行辨认区别)。

原创 brew install nginx

and run==> nginxnginx。

原创 nginx vue php 第一个站点配置

使用nginx+apache。

原创 linux安装Nginx

【代码】linux安装Nginx。

原创 nginx -s reload 高并发情况下有性能损耗

nginx -s reload 高并发情况下有性能损耗。用consul来发现服务。可以用动态负载均衡解决。

原创 12、Swoole 可以替代 Nginx 吗？

比如，虚拟域名的配置文件为：local.swoole.com.conf，可以选择加载 enable-php.conf ，也可以选择加载 enable-swoole-php.conf。Http\Server 对 Http 协议的支持并不完整，建议仅作为应用服务器。并且在前端增加Nginx作为代理。我们都习惯会将虚拟域名的配置文件放在 vhost 文件夹中。暂时不能，随着 Swoole 越来越强大，以后说不准。官方建议 Swoole 与 Nginx 结合使用。根据自己的 Nginx 配置文件，可以自行调整。

原创 亿级流量商品详情页静态化与多级缓存

来腾讯视频看更多热门视频

原创 Linux Load Average过高多少合适？CPU Load使用率检查

显然，“load average”的值越低，例如0.2或0.3，意味着计算机（电脑）的工作量越小，系统负载越轻。假如CPU每分钟最多处理100个进程，则系统负载为0.2，这意味着CPU在这1分钟内仅处理20个进程；为了顺利运行计算机，系统负载不应超过1.0，因此无需等待任何进程，并且可以首先处理所有进程。首先，我们假设在最简单的情况下，你的计算机只有一个CPU，所有运算操作必须由该CPU完成。然后，通过将系统负载除以核心总数，只要每个核心的负载不超过1.0，计算机就会如常运行。

原创 抓取占用系统资源的进程CPU飙升

【代码】抓取占用系统资源的进程CPU飙升。

原创 数据库存储表情

这个问题，原因是UTF-8编码有可能是两个、三个、四个字节。Emoji表情或者某些特殊字符是4个字节，而Mysql的utf8编码最多3个字节，所以数据插不进去。修改项目中的连接数据库的url，将characterEncoding=utf-8去掉，此步骤一定要进行。然后重启mysql 命令：/etc/init.d/mysqld start。将数据库中对应的字段，改为utf8mb4_general_ci。这是mysql5.6啦。2. 修改数据库编码为utb8mb4。1. 在程序中过滤emoji表情；

原创 位运算学习

除以2其实就是右移1位。乘以2其实就是左移1位。

原创 proxyman抓包安卓模拟器里面的APP的http(s)请求

进入WLAN管理，长按无线名称，这里是inEy......然后弹出如下图。将ip和端口改成proxyman上图所示。打开proxyman。

原创 makefile文件

makefile文件的编写可以很复杂，复杂到我不想看，在实际开发中，用不着那么复杂的makefile，我追求简单实用的方法，腾出更多的时间和精力去做更重要的事情，那些把makefile文件写得很复杂的程序员在我看来是吃饱了撑的。在软件的工程中的源文件是很多的，其按照类型、功能、模块分别放在若干个目录和文件中，哪些文件需要编译，那些文件需要后编译，那些文件需要重新编译，甚至进行更复杂的功能操作，这就有了我们的系统编译的工具。在makefile中的目标，依赖，命令或其他地方引用变量时，变量会被它的值替代。

原创 cmake学习

可以用来指定工程的名字和支持的语言，默认支持所有语言PROJECT (HELLO) 指定了工程的名字，并且支持所有语言—建议PROJECT (HELLO CXX) 指定了工程的名字，并且支持语言是C++PROJECT (HELLO C CXX) 指定了工程的名字，并且支持语言是C和C++该指定隐式定义了两个CMAKE的变量_BINARY_DIR，本例中是 HELLO_BINARY_DIR。

原创 linux三款好用网络监控软件（bwm-ng 、iftop、iptraf）

它利用内置的原始数据包捕获的Linux内核，允许它被用于广泛的以太网卡，支持FDDI适配器，支持ISDN适配器，令牌环网，异步SLIP / PPP接口和其他网络设备的接口。不需要特殊的硬件要求。独立使用无效(被忽略直接进入菜单界面)，只能和-i、-g、-d、-s、-z、-l中的某个参数一块使用。重要的TCP / IP协议（IP，TCP，UDP，ICMP等）的基本知识是必要的，你最了解的信息由程序生成。IPTraf的可以用来监控一个IP网络上的负载，最常用的类型的网络服务，程序的TCP连接，以及其他。