- 博客(2384)
- 收藏
- 关注
RSS订阅原创 从0到1基于ChatGLM-6B使用LoRA进行参数高效微调
关注他等 189 人赞同了该文章目录收起ChatGLM-6B简介具备的一些能力局限性LoRA 技术原理环境搭建数据集准备数据预处理参数高效微调单卡模式模型训练数据并行模式模型训练模型推理结语之前尝试了基于LLaMA使用LoRA进行参数高效微调，有被惊艳到。相对于full finetuning，使用LaRA显著提升了训练的速度。虽然 LLaMA 在英文上具有强大的零样本学习和迁移能力，但是由于在预训练阶段 LLaMA 几乎没有见过中文语料。
2023-10-08 22:41:04
1131
原创 使用DeepSpeed/P-Tuning v2对ChatGLM-6B进行微调
之前尝试了基于ChatGLM-6B使用LoRA进行参数高效微调。ChatGLM-6B简介ChatGLM-6B相关的简介请查看之前的文章，这里不再赘述。P-Tuning v2简介P-Tuning是一种较新的模型微调方法，它采用了参数剪枝的技术，可以将微调的参数量减少到原来的0.1%。具体来说，P-Tuning v2是基于P-Tuning v1的升级版，主要的改进在于采用了更加高效的剪枝方法，可以进一步减少模型微调的参数量。
2023-10-08 22:36:13
932
转载 大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼
2023开年以来，大模型进入疯狂内卷状态，大模型的发布都要以“天”为单位进行迭代。之前，尝试了从0到1复现斯坦福羊驼（Stanford Alpaca 7B），下面我们来尝试从0到1复现Vicuna训练及推理。Vicuna简介继斯坦福羊驼（Stanford Alpaca）之后，UC伯克利、CMU、斯坦福等机构的学者，联手发布了最新开源大模型骆马（Vicuna），包含7B和13B参数。Vicuna工作流程Vicuna具体的工作流程如下图所示，首先，研究人员从http://
2023-10-08 22:30:58
292
原创 RuntimeError: CUDA unknown error #49081
【代码】RuntimeError: CUDA unknown error #49081。
2023-10-07 17:45:06
127
原创 git：‘lfs‘ 不是一个 git 命令。参见 ‘git --help‘。
【代码】git：'lfs' 不是一个 git 命令。参见 'git --help'。
2023-10-04 21:13:48
2327
原创 分享9个已开源的GPT4平替，用过感觉还不错
作为ChatGPT的平替，开源了完整的RLHF流水线，包括，监督数据收集、监督微调、奖励模型训练和强化学习微调等。对于想要研究大模型的同学来说，目前ChatGPT无疑是最好的学习对象，但等它开源估计是不太可能了，所以学姐今天整理了一些开源的类GPT模型，帮助大家更好的理解大模型背后的机理。整理了一部分大模型的论文，PDF格式的，关注“学姐带你玩AI”（不懂的看我主页签名）后台回复“大模型”直接领取。智谱AI研发，基于千亿参数大模型的支持中英双语的对话机器人。高效、简单、可扩展，功能多，包含AIGC。
2023-10-04 15:56:00
547
原创 深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
【代码】深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识。
2023-10-02 17:29:02
147
原创 Star CCM+ 202206 (17.04) 详细安装步骤
链接: https://pan.baidu.com/s/1z3ANndIHlu5U-9Pg8857Ww?pwd=qugw 提取码: qugw 复制这段内容后打开百度网盘手机App，操作更方便哦。–来自百度网盘超级会员v3的分享。
2023-09-14 18:02:35
751
原创 投标信息网站
https://ggzy.qingdao.gov.cn/TradeDetals-ZtbShow/154289-5021-1-0-0/41fa7ca0-b4b8-451f-b167-6fddc0b996b6
2023-09-02 12:46:38
139
原创 ubuntu18.04配置静态ip和动态ip
https://blog.csdn.net/u014454538/article/details/88646689
2023-08-18 20:08:50
226
原创 error: ‘CV_LOAD_IMAGE_UNCHANGED’ was not declared in this scope
opencv4.x以上，有些宏，名字改了，需要改为新的。
2023-07-15 17:27:42
1029
原创 orbslam3 生成标定板rosrun kalibr kalibr_create_target_pdf --type
博主以为安装的有问题，惊恐之下乱查一通，毫无建树，博主镇定一下，关闭所有窗口。按照以往经验帖，此处使用sudo apt-get install python-pyx，会报错E：无法定位软件包 python-pyx。之后cd到Kalibr的目录下进行测试时，主要遇到的两个坑，在这里分享下，希望对和我一样的初学者有所帮助。就可以生成标定的棋盘格，也初步验证我们的kalibr环境安装OK。后来想到运行ROS包的例子，按照以下指令运行，此问题解决。最后运行原来的语句：（我写的不规范，规范的语句是）
2023-07-15 17:14:35
1617
原创 【Ubuntu18.04】ORB-SLAM3环境配置及RealSense运行自己的视频流
另外，数据集文件名需要修改为euroc_examples.sh文件中对应的名称，例如MH_01_easy修改为MH01。修改ORB-SLAM3/euroc_examples.sh文件中的数据集地址。将下载的ORB-SLAM3文件放入ROS工作空间的src文件夹中并编译。不使用ROS运行的下载ASL格式的，使用ROS运行的下载ROS bag。为了构建和管理开发者自己的ROS工作空间，还需安装rosinstall。安装对应版本的ROS，本机安装的是ROS Melodic。4.修改其余4个文件中的地址，在地址。
2023-07-15 17:09:12
699
转载 Intel RealSense D435i:简介、安装与使用(ROS、Python)
Intel RealSense D435i是英特尔公司推出的一款消费级深度相机，它的主要构成如下图所示。它主要包含一个RGB相机、两个红外相机以及一个红外发射器，此外还有一个IMU单元(这也就是D435i和D435的区别，i就表示imu)。简单来说它的深度成像原理是主动立体红外成像，不是传统意义上理解的双目RGB相机成像，这点需要注意一下。有了深度图(3D点云)和对应的RGB影像，因此也就很容易获得RGB-D点云了。因此从输出的角度而言，D435i可以看做是一个RGB-D传感器相机。
2023-07-13 21:14:46
17295
7
转载 Intel RealSense D435i:ROS接口相关配置和启动参数的进一步学习
infocompressrawtheorarectbreak在中，我们已经介绍了如何配置D435i的启动环境并进行了简单的测试。在这篇博客中，我们会以rs_camera节点为例，对其launch文件中的参数进行进一步分析，从而更好地使用。
2023-07-13 20:42:44
1256
1
转载 Intel RealSense D435i:ROS接口相关配置和启动参数的进一步学习
infocompressrawtheorarectbreak在中，我们已经介绍了如何配置D435i的启动环境并进行了简单的测试。在这篇博客中，我们会以rs_camera节点为例，对其launch文件中的参数进行进一步分析，从而更好地使用。
2023-07-13 20:21:38
591
原创 Resource not found: rgbd_launch 的解决方法
【代码】Resource not found: rgbd_launch 的解决方法。
2023-07-13 19:56:17
313
原创 【Ubuntu18.04】ORB-SLAM3环境配置及RealSense运行自己的视频流
第一步 Linux Ubuntu环境下 Intel Realsense D435I 驱动+ROS驱动安装配置ros1 realsense-ros第二步ORB-SLAM3环境配置及RealSense运行
2023-07-13 19:34:42
457
原创 【Ubuntu18.04】ORB-SLAM3环境配置及RealSense运行自己的视频流
另外，数据集文件名需要修改为euroc_examples.sh文件中对应的名称，例如MH_01_easy修改为MH01。修改ORB-SLAM3/euroc_examples.sh文件中的数据集地址。将下载的ORB-SLAM3文件放入ROS工作空间的src文件夹中并编译。不使用ROS运行的下载ASL格式的，使用ROS运行的下载ROS bag。为了构建和管理开发者自己的ROS工作空间，还需安装rosinstall。安装对应版本的ROS，本机安装的是ROS Melodic。4.修改其余4个文件中的地址，在地址。
2023-07-13 19:22:34
646
原创 美国为什么会有很强的纠正能力。难道只是因为强大吗？
而终局就是对外征服受阻经济停滞，中央皇帝完蛋内部空虚，边境叛乱四起，最后中央不管事甚至被边军一波带走彻底消失，各大边军互相吞噬，国内军阀林立，庞大的帝国成为一盘散沙，曾经靠武力征服的地区也一块一块重新失去了。唐的本质与罗马帝国，蒙古帝国，日不落帝国，乃至今天的美国非常类似，自身军国主义，对外侵略如火，武力压榨他国，军权极度分散，世界遍地驻军，打仗越打越富。问题是，李家后世的子孙真追不上唐太宗的脚步，又不愿意放弃对外侵略的巨大利益，那最后只能被强大的唐军地方军阀放血摘桃子了，这是必然的事情。
2023-07-08 11:00:53
231
原创 为何华夏失去了殖民东南亚、澳洲和美洲的昭昭天命?
下西洋的伟业被文官集团终止，中国失去称霸世界的机遇如果下西洋得以继续，不说美洲，南洋是很可能成为中国的基本盘之一。 下西洋不夭折，而是转变为第二次汉武帝开西域，变成明朝开南洋。明成祖时代对南洋的经营就可以持续下去，最终实现南洋地区的华夏化（明成祖时代已经着手控制马六甲海峡，形成对整个南洋地区的封锁了）。凭华夏的体量，要是母国给力，不把下南洋的华人当做叛徒，对19世纪之前南洋几百万土著人口的体量，稍微来点闯关东规模的大移民，光华人就能填满南洋，这时候又哪儿来的绿化？南洋绿化的第一推手是土著酋长对西洋殖民者的应
2023-07-08 10:06:40
267
原创 一个人最根本的能力到底是什么？
擅长大兵团作战的彭林刘徐粟几位将帅，指挥大战役时几天几夜不合眼是常态，大脑无时无刻不在进行高强度的计算，他们要从纷乱繁杂的战场态势中找出对己方有利的信息，抓住稍纵即逝的战机，神经必须时刻紧绷，一刻都不能放松。他的工作日程是以48小时安排，通宵达旦工作是常态，不仅要处理纷乱繁杂的军政工作，工作之余还有精力著书立说、阅读古籍，他的阅读量让许多专攻学问的老学究都汗颜，仅仅是一部《所以说，想做事业的人，先把身体搞好，身体好了自然气足，气足了自然有气场，有气场才能让人信服，不言则已，言必有声，做事才能顺利。
2023-07-08 10:03:10
180
原创 为什么现在原生家庭的问题这么严重？
换一个玄学的角度来看这个问题，之前看b站，有一个up主说，中国有历史记载的人口数一直都很稳定，7-8千万到1亿左右，明朝2亿，清朝到民国算是增长比较多的，有4亿，但是从开国到现在增长了10亿，从轮回的角度来讲，哪来那么多的人来转世呢，所以各种妖魔鬼怪牲畜本来没有资格转世成人的，都得到机会纷纷投胎成人了，因为时代的原因还活下来了，成为了50后，60后，70后还有80后的早中期的大多数，一直到了80后晚期，计划生育政策出来后，出生人口数才控制住了。这个真的就说不准咯。发布于 2023-07-06 17:11。
2023-07-08 09:59:58
380
原创 安装 abaqus
https://www.bilibili.com/video/BV1jL4y1H78W/?spm_id_from=333.337.search-card.all.click&vd_source=96bcb3d2ad0fed6ecf23d3c0615f70a8
2023-06-12 17:17:48
169
原创 ROS 运行小乌龟
命令的格式为：rosrun [包名] [节点名]。turtlesim是功能包，turtlesim_node是功能包中的一个节点。单独打开一个终端，可以用命令ctrl+shift+t在同一个窗口中打开新的终端。注意，光标必须放在此终端上乌龟才能动.而这个时候打开新的终端运行另一个节点。通过键盘的四个箭头控制乌龟的运动。
2023-06-07 11:58:00
2255
原创 ubuntu打包成iso镜像
https://zhuanlan.zhihu.com/p/349586567https://github.com/wenet-e2e/wenethttps://github.com/alphacep/vosk-apihttps://alphacephei.com/vosk/
2023-05-17 19:12:18
604
原创 Ubuntu下扫描同一局域网的其他设备IP
查看本机IP地址，一般有线在interface en0/eth0, 无线在wlan0上。箭头所指就是我宿主机的IP地址了。3.查看同一局域网的其他设备IP。箭头中所指是我虚拟机的IP地址。1.安装arp-scan。
2023-04-30 15:45:21
999
原创 语音识别项目
https://zhuanlan.zhihu.com/p/349586567https://github.com/wenet-e2e/wenethttps://github.com/alphacep/vosk-apihttps://alphacephei.com/vosk/
2023-04-27 17:04:29
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人