- 博客(434)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 从零开始实践大模型 - 模型推理
本文介绍了如何使用Qwen2.5-0.5B-Instruct模型快速启动一个模型服务，包括下载模型、安装git-lfs、使用git clone下载模型、编写推理代码、使用vLLM加速推理，并通过Docker部署服务。同时也分享了部署时的一些经验。
2024-12-06 01:47:16
764
原创 从零开始实践大模型 - 配置环境
本文详细介绍了在 Linux 系统上配置深度学习环境的步骤，包括配置 SSH 登录、安装显卡驱动及禁用 Nouveau、安装并配置 Docker 以支持 GPU 以及切换至普通用户并安装 Miniconda。此外，文章还提供了如何配置 conda 和 PyPI 镜像的方法，并给出了若干实用建议，以避免常见问题和潜在风险，提高配置效率和安全性。
2024-07-06 14:57:04
1174
原创 从零开始实践大模型 - 安装系统
该文建议安装无图形界面的 Debian Linux 作为深度学习系统，推荐使用 Debian 因其精简和可控性。文中详细介绍了从下载安装包到选择安装选项的步骤，强调了选择英文、UTF-8 编码、国内 apt 镜像和不安装图形化界面等关键点。
2024-06-16 23:39:32
772
原创 自建 Docker 镜像
本文介绍了在 Docker Hub 被禁后，通过 Cloudflare 和自建 Docker Registry 两种方法加速和恢复访问 Docker Hub 的镜像。包括在 Cloudflare 上创建 Worker 代理请求和配置自定义域名，以及在本地机器上搭建 Docker Registry 并设置上游源。
2024-06-09 22:14:00
1062
2
原创 使用 300 元的显卡推理 Qwen1.5-14B
一直以来模型推理成本对于想要使用大模型却又注重隐私的用户来说都是个难题，本文探索了如何使用一张 300 元的显卡借助 llama.cpp 来推理 Qwen1.5-14B-Chat 的 q2_k 量化模型，获得不慢的推理速度与不俗的性能表现。
2024-03-17 23:27:57
2511
1
原创 nvidia-persistenced 常驻
发现每次执行 nvidia-smi 都特别慢，发现是需要 nvidia-persistenced 常驻才可以，这个并不会在安装完驱动之后自动配置，需要手动设置一个自启。
2023-09-13 01:29:26
1414
原创 ChatGPT 相关资料收集
本文用来收集各种和生成式模型相关的内容，由于 ChatGPT 是其代表，也是会被写入人类历史进程的一个名字，所以便用 ChatGPT 作为标题的一部分，以表示我对 OpenAI 团队由衷的敬佩。
2023-04-02 23:06:44
5563
原创 PVE 下解决 iKuai 断流、重启问题
之前入手了 N5105 + i225-V，收到后装了 PVE 7.2 作为底层系统，虚拟化 iKuai + OpenWRT 来做软路由。 随着 iKuai 系统的升级，逐渐发现一些问题，比如断流、频繁重启等。OpenWRT 也时不时会毫无征兆的宕机，只是不频繁。 上网搜索了很多资料，很多都是基于经验的尝试，比如说换用 32 位的 iKuai，关掉 ASPM 、ROM-Bar、NUMA，更改 MTU 等等。也有的说换用 ESXi 之后就不重启了等等。在这里就不一一列举了。 下面提供两种解决方案，一种是治标，另
2023-02-01 01:22:54
12327
13
原创 Debian 下 CUDA 生产环境配置笔记
最近整了张 Tesla P4，由于是半高卡，索性就直接将其塞进了我的 NAS 里，试图将原来用 onnx 跑在 CPU 上的模型迁移至 GPU 上，遇到了些许问题，在此记录下。
2022-12-29 16:13:19
1268
原创 Windows 删除恢复分区
目前不论是 Windows 10 还是 Windows 11，在安装完成后在 C 盘的后面都会有一个恢复分区，在虚拟机场景下，需要对硬盘进行扩容时，这个恢复分区会使得分区不连续，导致无法直接将容量扩展至 C 盘中，所以需要在扩容前删掉这个分区。
2022-12-02 00:58:33
3143
原创 WSL2 安装、配置 Cuda、pytorch 记录
最近整了张矿卡，为了这碟醋，包了盘饺子。虽然我已经预料到买前深度学习，买后电子竞技，但还是象征性的先配下环境。
2022-11-16 20:44:24
798
2
原创 PVE 虚拟机心跳检测并重启
不知为何，PVE 中的 OpenWrt 时不时会宕机，这是背景。秉承着能用就行的思想，写了一个脚本，每隔一分钟检测一次虚拟机是否有心跳，如果没有心跳，就强制重启虚拟机，记录在这里。
2022-09-18 14:23:52
3940
原创 在 PVE 中安装 OpenWrt
最近在捣腾 x86 软路由，入门方案一般是底层采用 ESXi 或 PVE，虚拟层使用 iKuai + OpenWrt 的形式。由于我更喜欢开源软件，所以我选择了 PVE，在这里记录一下 PVE 安装 OpenWrt 的步骤。
2022-05-05 22:39:24
10060
原创 Typecho HTTPS 无法登陆后台
因为百度云加速的 HTTPS 证书各种难用，最近将博客的 CDN 解决方案整体迁移至 Cloud Flare，慢一点就慢一点吧。随即我便发现一个问题，Typecho 的后台登录不上去了，具体的表现是登陆跳转之后，仍然停留在登录界面。
2022-04-25 00:28:35
1560
2
原创 树莓派禁用 Wi-Fi 和蓝牙
因为我的树莓派是直接通过网线连接的，并没有启用 Wi-Fi，所以在每次 SSH 连进去之后 Raspbian 都会给我一个大意为 “你没有配置 Wi-Fi，如果想要启用，可执行 xxx” 的提示，略烦人，故禁用之。
2020-12-09 16:36:40
5784
1
原创 树莓派初始化备忘
最近又开始折腾树莓派了，记录一下初始化一个树莓派需要做的一些操作。本次操作以 64 位 Raspberry Pi OS（目测其实是 Debian 11）为目标系统。
2020-12-07 23:07:07
251
原创 在 CentOS 8 中使用 KVM 安装 Windows 10
使用 esxi 的话总觉得有些别扭？故尝试 KVM，本文使用 CentOS 8 minimal 作为基础环境。
2020-11-07 12:47:26
1887
原创 Debian 10 apt 使用阿里云镜像
最近打算在 Debian 上折腾 KVM，在阿里云官网的教程里没找到 Debian 10 的源，遂自己动手。
2020-11-03 23:25:32
4191
原创 一类匹配问题的求解及应用
在生活当中有很多场景都可以抽象为多对多匹配问题，比如网约车和外卖派单、会员偏好分配、相亲问题等，可以观察出来，这些问题其实都可以抽象为 N 个物品分配给 M 个人。
2020-10-12 14:03:56
770
原创 LSTM 备忘
长短期记忆网络（Long Short-Term Memory Network，LSTM）是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题。通过引入一个新的内部状态和门控机制来实现长短期记忆的功能。
2020-06-02 23:41:52
392
原创 CBOW 和 Skip-Gram
在 Word2Vec 中，Embedding 是一个映射，将词从原先所属的空间映射到新的多维空间中，也就是把词从原先所在空间嵌入到一个新的空间中去。本文介绍的 CBOW 和 Skip-Gram 是生成 Embedding 矩阵比较著名的两种无监督训练方法。
2020-05-30 20:00:49
1194
原创 一道有关极大似然估计和贝叶斯估计的题目
记录一道有关极大似然估计和贝叶斯估计的题目。本文地址：blog.lucien.ink/archives/500
2020-02-29 00:25:32
1293
2
原创 导数与求导
太久没有求过导数，发现关于导数的知识忘得一干二净，遂学习并记录之。本文地址：blog.lucien.ink/archives/499
2020-02-28 17:35:17
1288
原创 GitHub Actions 持续集成 - 3. 构建 Docker 镜像并推至 Docker Hub
上篇文章介绍了如何借助 GitHub Actions 在 Release 时自动上传打包好的工程。本篇文章旨在介绍将 Dockerfile 构建出来的镜像上传至 Docker Hub。本文地址：blog.lucien.ink/archives/498
2020-02-14 15:11:37
1060
原创 将网站内指定类型的资源文件接入 CDN
网站变得花里胡哨了之后，打开速度变得越来越慢。看了一下之后发现是 .js 文件和 .css 文件加载速度太慢了，于是想把所有的 .js 和 .css 文件通过 CDN 进行加载。本文地址：blog.lucien.ink/archives/497
2020-02-14 14:48:24
677
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人