- 博客(61)
- 收藏
- 关注
RSS订阅原创 大模型微调时使用wandb进行数据可视
在进行机器学习或大模型微调时，需要观察训练的损失率变化。如果对这些损失率可以实现可视化的展示，则能更直观的了解训练的程度。有一个在线网站https://wandb.ai/，可以将训练的数据上传到该网站，实现数据的可视化
2025-03-29 11:26:12
407
原创 Windows10下部署Heygem进行数字人生成
对于使用Heygem生成数字人，需要注意几个问题：+ 需要使用Nvidia的显卡。+ 需要在Windows上进行本地部署。主要原因为客户端是Windows的，客户端对上传的视频写入硬编码的`D:\heygem_data\voice\data`目录，需要在容器上读取这些文件。+ 需要在Windows上部署Docker，将Windows的目录映射到容器中，由容器中的服务进行读取。+ 需要特别注意，一定要有D盘，这个D盘是Windows的D盘，不能是插入的USB设备后产生的D盘。+ 需要下载3个Doc
2025-03-19 13:30:32
2811
2
原创 使用通义万相Wan2.1进行视频生成
最近通义万相开源了其视频生成模型。模型有两个版本，一个是1.3B的，一个是14B的。对于1.3B的版本，模型大小约17G，14B的版本模型大小约70G。由于显存限制，下面测试了1.3B版本的文生视频。总体来说，1.3B的版本，实测的视频生成内容，还是有些粗糙，也许1.3B的版本，只是用于让大家熟悉和学习的。小伙伴们如果有条件的，可以测试一下14B的视频生成结果。下面是我测试过程的一些记录，供大家参考。
2025-02-28 11:49:28
2905
4
原创 Ubuntu2204下使用NVIDIA GeForce RTX 4090进行DeepSeek-R1-Distill-Llama-8B模型微调
Ubuntu2204下使用NVIDIA GeForce RTX 4090进行DeepSeek-R1-Distill-Llama-8B模型微调使用unsloth，可以方便地对大模型进行微调。以微调DeepSeek-R1-Distill-Llama-8B为例：微调过程中，大概需要9G以上的显存，即可正常工作。训练时间与训练的参数per_device_train_batch_size和max_steps有关。当per_device_train_batch_size为2时，使用RTX 4090训练一次大概需
2025-02-27 11:30:17
1340
原创 半小时在本地部署DeepSeek的Janus Pro，进行图片分析和文生图
测试印象：整体模型体积较小，个人可以部署并使用。图像识别效果不错，不但可以识别一般的图片，也可以识别一些图纸类的内容。显存占用不高，24G显存即可以运行图片识别和图像生成。部署相对简单，如果不考虑模型下载时间，半小时就可以进行简单测试。图片识别时，如果图片是格式复杂的文本类（如试卷），在OCR时，会出现较严重的问题。生成图片时，必须用英文。生成图片时，当提示词过于简单时，会出现物品不完整的现象。总体来说，在开源的多模态大模型中，还是一个非常不错的产品。
2025-02-11 10:26:56
5178
5
原创 在游戏本(6G显存)上本地部署Deepseek，运行一个14B大语言模型，并使用API访问
deepseek在大语言模型上的进步确实不错，相比最初的百川在CPU上运行14B模型输出一次对话要20分钟，deepseek使用1.5B时，完全可以在CPU上快速输出内容，性能提升非常显著，完全满足个人在笔记本上开发大模型应用的基本要求。虽然deepseek每次对话都要思考一下，使用了较多时间，但在实际输出内容时，还是比较快速的，在游戏本上至少可以每秒输出5个token以上。下面内容是我在自己的游戏本上测试结果，没有进行任何优化，供大家参考。
2025-02-05 11:01:14
8580
2
原创 如何使用Kimi进行图片内容识别
最近Kimi也发布了他们的视觉大模型，简单测试了一下，效果还不错，对图片中的物品识别的比较准确和细致。Kimi的视觉分析，和之前的文本调用非常接近。Kimi采用了将图片进行Base64编码为文本的方式，进行参数传递，可以直接使用OpenAI客户端进行调用。
2025-01-16 11:04:34
1316
原创 Windows下部署QWen2.5-1.5B进行大模型开发
安装使用的为6G显存的3090，安装后，只使用了2.4G。使用游戏笔记本电脑，完全可以部署一个大模型，供本地学习。这是安装时，使用的主机信息，使用了11434端口。安装的一些信息，可以从下面的路径查找。我们可以直接输入信息，大模型进行回复。输出的模型信息中，包含可用的模型名称。好了，可以开启你的大模型开发之旅了。下载后，得到如下安装文件。至此，大模型已经安装完成。
2024-12-30 14:58:10
1722
原创 如何利用大模型将语音转文字
OpenAI支持将语音转文字，调用接口可以直接将语音文件转为文字。选择一个声音文件，将文件内容提交给大模型。可以从下面的输出中，确认大模型的名称。这个例子是调用了一个私有部署的。
2024-12-20 10:42:10
682
原创 如何部署qwen_vl实现从图片中解析关键信息
如何使用大模型，解析图片中的内容。下面使用千问的7B模型进行了尝试，效果还不错。阿里这方面给赞一下。
2024-11-21 10:54:32
650
原创 简单理解ARP协议
计算机A想向计算机B发送一个数据包，但目前计算机A并不知道计算机B的MAC地址。因此，需要借助ARP协议来完成地址解析的过程。如果网络中有一个恶意设备C，它想冒充计算机B以截获计算机A的数据，那么设备C可能会主动发送一个伪造的ARP应答，声称IP地址。这个ARP请求以广播形式发送到局域网中的所有设备，意味着所有连接到同一个子网的设备都会接收到此请求。这样，计算机A的ARP缓存表就会被污染，从而导致数据被错误地发送给设备C。计算机B通过单播的方式，将ARP应答发送回给计算机A。
2024-11-11 13:47:44
366
原创 如何解决后端开发时使用WebSocket服务部署问题
实际部署时，可能会遇到部署失败，主要原因为网络问题。该方式会自动下载依赖包，并进行启动服务。
2024-11-06 11:22:48
452
原创 Docker 镜像****后，如何给Ubuntu手动安装 docker 服务
最近由于某些未知原因，国内的docker镜像全部被停。刚好需要重新安装自己的笔记本为双系统，在原来的Windows下，再安装一个Ubuntu 22.04。安装后，发现之前简单的安装Docker服务的命令也无法执行成功，报超时错误。经过一些测试，整理出一个可手动安装docker服务的方法，步骤如下
2024-06-13 16:05:18
864
原创 如何用Kimi整理文档中的内容
初次尝试直接使用PPT格式，效果读取的不好。后面改为另存为PDF格式，整体效果有明显改善。程序成功从PDF中提取了多个图片中的内容，并将PPT中的信息，总结出一段文档后输出。测试结果见下面的程序输出。有一个PPT，是之前从百度文库中做的截图，尝试使用Kimi将这样的文档进行一下整理。
2024-04-03 19:09:56
1396
原创 处理飞书在线文档导出Word后无法自动编号问题
最近工作中经常编写一些文档，有些文档需要多人协作完成。这两天需要完成一个可研的初稿，同事使用了飞书的在线文档。第一次使用飞书进行文档协作，体验还不错，没有了金山Office在线文档的保存会导致其它同事页面自动刷新并定位到文档开头的功能，但在完成一个170多页的Word文档并导出后，发现里面的标题的编号全部是单个字符，不能在自动编号了。这个问题导致后续在Word中进行内容调整时，所有的后续编号需要手动全部更改一遍。
2023-09-26 09:28:30
1804
原创 Flink读取数据的5种方式（文件，Socket，Kafka，MySQL，自定义数据源）
当需要对Flink进行一些性能测试时，可以使用自定义数据源来简化测试过程。Flink支持自定义数据源，可以使用循环生成所需要格式的测试数据，使用方式非常灵活。运行程序后，会产生源源不断的数据。
2023-06-30 16:04:27
5476
原创 使用Flink进行WordCount计算
Flink是一款应用非常广泛的流处理系统，目前有客户使用Flink进行数据同步，效率较差。之前虽然使用过Spark Streaming，但是Flink和Spark Streaming在使用上，还是有一点差异。如Word Count计算，Spark中好像是一个reduceByKey，Flink中需要先进行GroupBy，然后再做一次sum。
2023-06-28 15:38:26
798
原创 Ubuntu18下部署TensorFlow2.5.2
安装Tensorflow 2.X一定要注意Python的版本，使用Ubuntu 18自带的Python3.6，在安装时会显示没有Tensorflow2，只能安装Tensorflow 1.X。下载Anaconda安装程序，并上传到Ubuntu的目录下。根据提示信息进行Anaconda的安装。
2023-03-07 18:55:08
298
原创 VirtualBox 7.0下配置两块网卡，即可以上网，又可以ssh
配置一块网卡，选择【网络地址转换（NAT）】，设置使用DHCP获取IP地址。配置一块网卡，选择【仅主机（Host-Only）网络】，手动配置IP地址。
2022-12-29 09:25:28
825
原创 如何禁止KingbaseES的ksql查询结果自动分页
禁止ksql自动分页，可以：默认安装的KingbaseES V8的ksql，在输出结果时会自动分页，具体现象如下：即使在控制台中直接执行SQL语句，也会自动分页。这一特性与其它数据库产品（如mysql）的默认行为不太一致，一些初学KingbaseES的用户可能会感到不适应。虽然在控制台执行SQL时，可以通过将结果重定向到一个文件来输出全部内容，但在一些场景下还是感到有点不太方便。要解决这个问题，可以通过执行，来关闭自动分页。这样后面的查询结果，就会全部输出，不再分页。这样的设置，只能在当前的ksql
2022-06-06 08:33:17
1471
原创 Oracle12C中如何恢复被删除的表
Oracle12C中如何恢复被删除的表登录sqlplus[oracle@vm100 ~]$ sqlplus /nologSQL*Plus: Release 12.2.0.1.0 Production on Thu May 12 14:36:38 2022Copyright (c) 1982, 2016, Oracle. All rights reserved.SQL> connect sys@oracle12 as sysdba;Enter password: Connected
2022-05-12 15:04:46
444
原创 Postgres 9.2快速入门（Centos 7）
Postgres 9.2快速入门（Centos 7）安装初始化启用服务启动服务查看服务状态登录postgres客户端修改用户密码创建并切换到新数据库创建表退出客户端安装配置好yum后，可以直接用下面的命令进行安装。yum install postgresql-server.x86_64yum install postgresql-contrib.x86_64初始化安装好postgres后，需要初始化一个数据库，才能使用。使用下面的命令初始化一个数据库。[root@vm1 ~]# postgr
2022-04-06 11:17:27
2242
原创 GBase 8s如何通过逻辑日志确定删除表的精确时间
@[TOC] 如何通过逻辑日志确定删除表的精确时间背景GBase 8s 支持基于时间点的恢复。当由于操作人员失误，或其它人员的恶意操作，执行了破坏数据的操作，可以通过onbar的基于时间点的恢复，抢救出被删除的数据。以下内容为分析用户执行drop table破坏数据，我们需要分析出用户在何时执行了drop table的操作，以便进行基于精确时间点的恢复，减少数据损失。其它破坏数据的操作的时间点分析类似。分析过程查找当前逻辑日志使用onstat -l命令，查看flags中包含C标志的文件的uni
2022-03-31 17:06:14
951
原创 三权分立在GBase 8s中的实践
三权分立在GBase 8s中的实践概述业务场景说明安全等级商品分类区域岗位岗位权限规划业务主管（manager）采购人员（purchase）销售人员（sale）库管人员（store）财务人员（finance）三权分立中的用户规划环境部署创建用户安装GBase 8s(不创建数据库实例)修改配置参数创建数据库实例配置用户环境变量（gbasedbt）三权分立功能验证配置审计掩码（dbsso）配置审计参数（dbaao）查看审计日志（dbaao）创建数据库（gbasedbt）用户授权（gbasedbt/自主访问控制）
2021-12-17 10:11:16
1363
原创 常见 GBase 8s 备份恢复错误码
常见 GBase 8s 备份恢复错误码错误码说明100ON–Bar 在 sysutils、紧急引导文件或处理时需要的存储管理器目录中找不到某些内容。请检查 ON–Bar 活动日志中表示未找到内容的消息并尝试解决该问题。如果问题再次发生，请联系技术支持。104Adstar Distributed Storage Manager（ADSM）处于生成密码方式中。ON–Bar 不支持 ADSM 在生成密码的方式下运行。关于更改 ADSM 安全配置的信息，请查看您的 ADSM 手册。
2021-12-16 17:46:47
1682
原创 如何分析GBase 8s对操作系统的依赖
如何分析GBase 8s对操作系统的依赖问题由于国际形势变化，目前对国产数据库提出新的要求：支持国产CPU支持国产操作系统目前国产操作系统中，麒麟操作系统是比较主流的操作系统，在与麒麟V10操作系统适配时，偶尔会出现在一个麒麟V10下编译的数据库，在另一个麒麟V10下安装不成功现象。这个产品适配中出现的现象，可能是麒麟操作系统内核变化的原因，也不排除是现场人员安装的问题。为了定位在适配中出现的安装问题，给数据库确定它的依赖库和rpm软件包很有必要。下面以GBase 8s为例，介
2021-12-09 13:45:20
1149
原创 Python通过ODBC访问MySQL
Python通过ODBC访问MySQL安装MySQL[root@train ~]# yum install mariadb-server.x86_64Loaded plugins: fastestmirror, langpacksbase | 3.6 kB 00:00
2021-11-17 14:56:31
2607
原创 GBase 8s 数据迁移(新版本)
GBase 8s 数据迁移数据迁移分类数据格式数据范围数据用途数据迁移问题数据包含行分隔符数据包含列分隔符数据中的日期时间格式不匹配汉字乱码数据迁移方法unload/loaddbloaddbexport/dbimportgunload/gloadexternal table附录数据准备数据迁移分类数据格式数据范围数据用途数据格式按数据格式分类，可分为：文本格式二进制格式。数据范围按数据范围分类，可分为：整库迁移单表迁移数据用途按数据用途分类，可分为:产品自己使用
2021-11-03 16:59:49
1487
原创 GBase 8s 运行模式与切换(新版本)
GBase 8s 运行模式与切换GBase 8s的四种运行模式。GBase 8s的3种过渡状态。GBase 8s的模式转换状态图附录GBase 8s的模式转换状态表GBase 8s的四种运行模式。离线模式不能执行任何操作shared memory not initialized for GBASEDBTSERVER ‘gbaseserver’（执行数据库管理员命令时）908: Attempt to connect to database server (gbaseserver) failed.
2021-11-03 16:54:10
1101
原创 基于gbackuprestore的备份与恢复实验
基于gbackuprestore的备份与恢复实验gbackuprestore体系架构环境准备配置存储管理器PSM的共享库PSM配置初始化Catalog查看PSM设备情况配置PSM设备实验说明备份与恢复演示创建数据库和表(t1)t_dept新增3条数据(t2)t_employee新增5条数据(t3)系统进行L0备份(t4)t_employee新增5条数据(t5)系统进行L1备份(t6)t_employee新增1条数据(t7)系统进行L1备份(t8)t_employee新增5条数据(t9)系统进行L2备份(t1
2021-11-03 16:47:28
663
原创 GBase 8s 管理员命令(新版本)
GBase 8s 管理员命令gserver启动数据库到在线模式停止数据库停止数据库，并清理共享内存gadmin切换数据库到在线模式切换数据库到离线模式切换数据库到静态模式切换数据库到单用户模式切换逻辑日志文件强制执行检查点设置共享内存的常驻部分的强制驻留添加或删除虚拟管理器动态地启动、停止或重启监听线程更新 onconfig 文件中指定配置参数的值终止数据库服务器会话gstat打印数据库当前运行模式打印onconfig文件内容打印系统在线日志最新信息打印物理日志和逻辑日志使用状态打印数据库空间和Chunk文
2021-11-03 16:43:47
5564
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人