- 博客(427)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用Unsloth微调Llama3-Chinese-8B-Instruct中文开源大模型
微调是指在大规模预训练的基础模型上,使用特定领域或任务数据集进行少量迭代训练,以调整模型参数,提升其在特定任务上的表现。这种方法可以充分利用预训练模型的广泛知识,同时针对特定应用进行优化,达到更精准高效的效果。
2024-07-26 10:17:22
486
原创 LLM实战：LLM微调加速神器-Unsloth + Qwen1.5
1. 背景上一篇介绍了基于训练加速框架Unsloth，微调训练Llama3的显卡资源占用及训练时间对比。近期Unsloth新增了Qwen1.5的模型适配，因此本qiang~马不停蹄地又进行了一次实验对比。对Unsloth的简介，感兴趣的客观可以查阅上一篇《LLM微调加速神器：Unsloth + LLama3》。2. 实战本着眼过千遍不如手过一遍的宗旨，本qiang~针对Unsloth做了一个对比实现。对比的实验环境为： A800，模型为Qwen1.5-32B-Chat。可以使用如下命令进行更新
2024-07-24 17:44:27
818
原创 小白教程：Unsloth 打造属于自己的中文版Llama3
本教程详细介绍了如何使用Unsloth和LooPIN环境对Llama 3进行微调。通过这一过程，我们不仅学会了数据准备和模型训练的核心步骤，还掌握了如何利用GPU资源进行高效的模型训练。我们会在后续教程中继续探讨LLM的工程实践。转至：https://blog.51cto.com/u_16765961/10814836。
2024-07-24 17:39:55
756
原创 OmniFocus4 归档和备份
当您的数据库变得臃肿、缓慢或者充斥着过时内容时，或者您需要回到之前的数据版本时，OmniFocus for Mac 的归档和备份功能可以帮您实现心愿。
2024-07-22 14:13:02
282
原创 log4j2.xml 使用 application.yml 配置的属性
log4j2.xml是不归spring管理的，所以也就没法读取到里面的配置了。解决方式： 通过spring的 监听器(Listener)功能，将我们读取到的的日志路径设置到系统属性，然后在日志文件里面读取对应的系统属性就行了。
2024-07-12 15:30:38
499
原创 git lfs安装及使用方法
LFS是Large File Storage的缩写，用了帮助git管理大的文件原理：不同于git每次保存diff，对于git来说，如果是模型或者一些设计大文件，改变一点，对于仓库来说会增加很大的体积，不一会就能几个G。对于git lfs来说，在使用git lfs track命令后，git push的时候，git lfs会截取要管理的大文件，并将其传至git lfs的服务器中，从而减小仓库的体积。
2024-07-05 14:46:05
464
原创 ModuleNotFoundError: No module named ‘cv2‘ （安装cv2）
转至：https://blog.csdn.net/weixin_39450145/article/details/104801730。cv2安装成功后，也可以在如下文件夹下看到。
2024-07-05 14:44:58
333
原创 本地部署Qwen2
那么请在物理机安装ubuntu系统，不然显卡驱动很难安装，不建议新手部署。训练微调模型需要用到GPU。转至：https://blog.csdn.net/zhangweiaixiu/article/details/140008617。1、首先我们安装一个Ubutun系统，安装系统不展开说明，自行安装，我安装的是117~20.04.1-Ubuntu。4、安装miniconda以及python3.10【注意：必须安装3.10版本，否则启动不了】2、新建2个文件夹，用于下载模型以及Qwen源码。
2024-07-05 14:43:59
689
原创 Git LFS 实时显示进度条：让大文件克隆与推送体验更美好
在huggingface、SwanHub、魔搭社区等包含大语言模型权重的仓库中，权重文件大多使用git-lfs进行托管：但是新手在使用git-lfs时，很容易遇到clone到lfs文件时，无法实时下载进度条的情况，你也不知道到底是在后台下载，还是你的电脑卡住了，就很捉急：实际上后台一般正在下载lfs文件，但是要等下载到一定阶段时（比如25%、50%等）才会显示一下，。
2024-07-05 14:42:25
414
原创 Linux脚本自动安装 docker
使用指定国内源安装（应对无法连接 docker 的情况）可选Aliyun/AzureChinaCloud。安装指定发行版（稳定版/测试版）
2024-07-04 16:25:44
354
原创 Ubuntu22.04安装Docker过程记录
Docker Desktop 则是一个面向桌面环境的应用程序，它包括了 Docker Engine 以及一些额外的功能，如图形化界面、容器管理工具和与桌面环境集成的功能。如果你使用的是其他版本的 Ubuntu，可能会有些许差异。当然，如果你在服务器上需要使用图形化界面来管理容器，或者你更喜欢使用图形化工具来操作 Docker，那么也可以安装 Docker Desktop。总之，对于服务器环境，通常推荐安装 Docker Engine，而对于开发人员的本地环境，可以选择安装 Docker Desktop。
2024-07-04 16:08:21
326
原创 Ubuntu 22.04.1 LTS 离线安装Docker
转至：https://blog.csdn.net/z_xiaoluan/article/details/128150890。会提示没有权限，将用户名添加到docker组。安装完docker 使用。重新登陆服务器，就可以了。需要下载以下三个文件。
2024-07-04 15:56:38
480
原创 SpringBoot—整合log4j2入门和log4j2.xml配置详解
引言对于一个线上程序或者服务而言，重要的是要有日志输出，这样才能方便运维。而日志的输出需要有一定的规划，如日志命名、日志大小，日志分割的文件个数等。在Spring的框架下，我们可以使用log4j来进行日志的设置，高版本的SpringBoot会使用log4j2。介绍log4j2概述截取官网的原话：Apache Log4j 2 is an upgrade to Log4j that provides significant improvements over its predecessor, Log4j
2024-07-01 16:37:57
883
原创 JeecgBoot新建模块
jeecg-boot设置了demo, system等默认模块。在二次开发中，常常需要进行模块扩展。比如新增一个订单模块或支付模块。如何准确的新增模块，在此文进行记录。在jeecg-boot-module-system模块的pom.xml引入新增的crm模块。如图我们新建一个crm模块。并且在pom.xml添加了核心依赖。开头，否则 swagger 和包加载会扫不到。完成以上步骤即可完成新模块的正确建立。在项目点击右键，新建模块。追加如下Bean配置。
2024-06-28 18:02:53
240
原创 获取打包后jar包内resource文件路径
转至：https://blog.csdn.net/qq_42561919/article/details/104680562。首先使用了io.resource包下的ClassPathResource类，将他改为。这是源代码，这段代码在本地运行是没有问题的，但是打成jar包，拿到。然后，在linux上直接读取文件也是会出错的，最好使用流的方式。出现这个异常有很多原因，这里只描述一下我所遇到的。异常，原因是读取不到map.wmp文件，原因是。这样，就完美解决问题了。上运行之后，就会出现。
2024-06-24 11:26:46
244
原创 Springboot获取resources中的文件
转至：https://blog.csdn.net/xyy1028/article/details/87785592。注:当java项目打成jar包,则无法以文件的形式直接获取resources中的文件,此时以流的形式获取。
2024-06-21 11:38:01
235
原创 把System.out.print的输出加到logback的日志文件中
经常会碰到一些旧系统，使用System.out直接在控制台输出日志，然后再用命令行重定向的方法把日志写到文件中，这个方法主要问题是日志会越来越大，要经常手动删除。转至：https://blog.csdn.net/dengxiaodai/article/details/129768843。项目源码放在Github: https://github.com/Dengxd/LogbackSystemOut。今天我们就把System.out的输出加到logback的日志文件中，由logback来管理这些日志。
2024-06-14 15:08:23
243
原创 springboot logback 按天分割日志
resource目录下加上logback-spring.xmllogging: config: classpath:logback-spring.xmllogback-spring.xml：<?xml version="1.0" encoding="utf-8"?><!-- 从高到地低 OFF 、 FATAL 、 ERROR 、 WARN 、 INFO 、 DEBUG 、 TRACE 、 ALL --><!-- 日志输出规则 根据当前ROOT 级别，日志输出时
2024-06-05 11:26:19
347
原创 springBoot上传文件时MultipartFile报null 空 问题解决方法
1.问题描述:之前用spring MVC，转成spring boot之后发现上传不能用。网上参考说是spring boot已经有CommonsMultipartResolver了，但是我的上传后台接收的还是null。
2024-06-05 11:25:24
650
1
原创 logback实现读取spring和nacos的动态配置
一个是logback.xml，一个是logback-spring.xml,他们俩和application.yml的区别在于，在加载顺序上，logback.xml 先于 application.yml 大于 application-spring.xml。但是如果是在nacos里面，通过这种方式，logback将加载两次logback-spring.xml文件，所以在项目初始的时候，需要修改logback-spring.xml改名字，取消自动加载，把它变成一个普通的配置文件。
2024-06-04 16:04:30
422
原创 springboot日志文件不生产问题
如果还是不产生日志文件的话：指定磁盘上具体的目录即可（即把下图红圈部分，改成具体的磁盘目录）当指定了日志文件logback-spring.xml，发现项目启动的时候，不生产日志。解决方案：在yml中指定本工程具体的日志文件。
2024-06-04 16:02:28
211
原创 日志级别：OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、 ALL
打印一些你感兴趣的或者重要的信息，这个可以用于生产环境中输出程序运行的一些重要信息，但是不能滥用，避免打印过多的日志。ERROR 指出虽然发生错误事件，但仍然不影响系统的继续运行。打印错误和异常信息，如果不想输出太多的日志，可以使用这个级别。debug 级别最低，可以随意的使用于任何觉得有利于在调试时更详细的了解系统运行状态的东东；WARN 表明会出现潜在错误的情形，有些信息不是错误信息，但是也要给程序员的一些提示。后三个，警告、错误、严重错误，这三者应该都在系统运行时检测到了一个不正常的状态。
2024-06-04 13:39:56
556
原创 Nginx 代理本地文件
1、Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。2、Nginx是一款轻量级的Web服务器/反向代理服务器以及电子邮件代理服务器，并在一个BSD-like协议下发行。3、nginx相较于Apache\lighttpd具有占有内存少，稳定性高等优势，并且依靠并发能力强，丰富的模块库以及友好灵活的配置而闻名。
2024-06-03 14:30:25
522
原创 Hutool 数字工具-NumberUtil使用（加减乘除，保留小数，格式化数字，是否为数字，随机数，整数列表，阶乘，平方根，最大公约数和最小公倍数，进制转换，比较大小，去除多余的0）
数字工具针对数学运算做工具性封装。
2024-05-30 15:48:47
809
原创 金钱/金额计算 BigDecimal 的加减乘除计算
今天正好做了一个购物车的功能 ，涉及到了金钱的计算，当金钱计算时直接使用double，会损失精度，需要使用BigDecimal来进行价格的计算。关于Bigdecimal，这里整理一下方便以后学习，也希望能帮助到其他人。
2024-05-29 14:23:20
897
原创 centos7和centos8安装mysql5.6 5.7 8.0
https://dev.mysql.com/downloads/repo/yum/注意构造下http://repo.mysql.com/mysql-community-release-el*-*.noarch.rpm【以centos7为例】安装mysql5.6wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5.noarch.rpmyum
2024-05-24 13:57:53
384
原创 鼠标滚轮使用时上下跳动的解决方法
前阵子鼠标滚轮使用时总会出现上下跳动比如向下滚动会往上反弹或者是在当前框架卡住但颤动的情况，这个问题困扰了我很久，试过了很多设置和驱动方面的办法都没解决，因此大概率是滚轮那有脏东西了。这也是我在别的大佬回复那里学到的，想让更多需要的小伙伴看到，应该可以解决大部分类似的滚轮问题。我之前差点就买新鼠标去了（不会开鼠标盖子修因为找不到螺丝孔），这个鼠标没用多久还挺心疼的，白色鼠标表面都还没发黄呢！能这样简单解决真的直接惊呆了。转至：https://zhuanlan.zhihu.com/p/599733253。
2024-05-23 15:18:50
3824
1
原创 MySQL 8.0 only full group by 问题处理
在配置文件 /etc/mysql/my.cnf 中 [mysqld] 下面加上一行。出现这个问题是因为MySQL8.0默认的sql_mode设置了ONLY_FULL_GROUP_BY。Docker版本的MySQL，配置文件在docker里/etc/mysql/my.cnf。转至：https://zhuanlan.zhihu.com/p/81246677。去掉ONLY_FULL_GROUP_BY，设置新的sql_mode值。Linux下：mysql配置文件在 /etc/my.cnf。再将剩余的值设置回去。
2024-04-28 16:07:23
779
原创 mybatisplus配置拦截器实现保存加密，输出解密，模糊查询
（1）使用@TableField(typeHandler = TypeHandler.class)注解自带的字段类型处理器，写一个 handle 类继承 BaseTypeHandler。本身这个是用来处理字段类型转换的，如map转list之类的，这里也可以用作值加密。注：使用这种方式有个前提，需要在@TableName注解上加上，才能使查询生效，否则只是新增修改生效进行拦截。没看源码猜想应该是先查整个实体有没有，再逐个进行字段拦截处理优化效率。@Data。
2024-04-17 18:42:19
1572
原创 MySQL数据加密，模糊查询
实现配置文件加密，数据库敏感字段加密，加密字段模糊查询。加密在存入数据库的时候，转成十六进制。数据库加密解密方法自己用。
2024-04-17 18:40:43
502
原创 FastAPI部署在Linux服务器详细教程
FastAPI是一个可快速构建API服务的Web框架，可与 NodeJS 和 Go 比肩的极高性能（归功于 Starlette 和 Pydantic），是最快的 Python Web 框架之一。更多详情见官网FastAPI官网地址本文对FastAPI的开发部署以及生产环境部署做一个记录。
2024-04-15 15:46:32
2295
原创 清空nginx缓存并强制刷新
当对nginx的文件进行修改或更新时，可能会出现旧文件被缓存而无法立即生效的问题，此时需要清空nginx的文件缓存并强制刷新。
2024-04-08 10:41:34
1874
1
原创 java.lang.UnsupportedOperationException解决方法
调用Arrays.asList()产生的List中add、remove方法时报异常，这是由于Arrays.asList()返回的是Arrays的内部类ArrayList， 而不是java.util.ArrayList。在项目中对List进行操作时报错java.lang.UnsupportedOperationException，后来发现操作的List是由数组转换而成的，通过看源码发现问题，并写测试程序如下。
2024-04-03 10:28:22
305
原创 java jsonobject 无序 jsonobject有顺序
转载至：https://blog.51cto.com/u_16099249/6574610。json解析的时候，通常顺序会发生改变，如果我们有保持原有顺序的需求的话可以通过如下方式。3、可以使用Google的Gson，使用gson解析的话是怎么传就是什么顺序。
2024-04-03 10:27:03
455
原创 设置docker开机自启动，并设置容器自动重启
转至：https://blog.csdn.net/chj_1224365967/article/details/109029856。如果创建时未指定 --restart=always，可通过update 命令设置。
2024-03-29 14:19:40
1359
原创 springboot 查看和修改内置 tomcat 版本
关于Spring Boot提供了哪些jar包的依赖，可以查看当前用的springboot版本对应的pom文件：/Users/mac/MavenRepo/org/springframework/boot/spring-boot-dependencies/2.1.0.RELEASE/spring-boot-dependencies-2.1.0.RELEASE.pom。添加这个之后，spingboot的默认启动的tomcat版本就可以达到你自己需要的了。可以查看到我们使用的tomcat版本为9.0.12。
2024-03-12 15:20:06
3529
2
原创 Java8 使用 stream().sorted()对List集合进行排序
集合对象以学生类（）为例，有学生的基本信息，包括：姓名，性别，年龄，身高，生日几项。使用stream().sorted()进行排序，需要该类实现Comparable接口，该接口只有一个方法需要实现，如下：Java 关于重写compareTo方法//名称 private String name;//性别 true男 false女 private Boolean gender;//年龄 private Integer age;//身高 private Double height;
2024-03-05 15:27:27
1718
Boxy SVG for Mac v4.35.0 mac
2024-07-08
Sketch 100.1 轻量易用的矢量设计工具 mac
2024-07-08
navicat 17.0.12 mac
2024-07-08
Sonar汉化jar包
2018-07-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人