- 博客(4261)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 快速了解GPU分布通信技术：PCIe、NVLink与NVSwitch
PCIe（Peripheral Component Interconnect Express）是一种高速串行计算机扩展总线标准，广泛用于连接计算机的各种硬件设备。PCIe4.0是目前较为先进的版本，提供了高达64GB/s的带宽。InfiniBand是一种用于高性能计算的高速互连技术，通过交换机在节点之间直接创建一个专用的受保护通道。InfiniBand适配器通过PCIe接口连接到CPU，另一端通过InfiniBand网络端口连接到InfiniBand子网。
2024-11-03 20:27:10
6
原创 Ubuntu 解决弹出 Authentication required 对话框
【代码】Ubuntu 解决弹出 Authentication required 对话框。
2024-11-02 18:43:15
80
原创 群晖高性能NAS DS923+搭载E10G22-T1-Mini万兆网卡开箱拆解评测
作为群晖DS920+的继任者，群晖DS923+搭载了AMD Ryzen R1600双核四线程处理器，采用紧凑的4盘位设计，可以通过eSATA接口连接Synology DX517扩充设备，最高拓展至9个硬盘，大大提升存储容量。DS923+底部还内置了两个M.2 SSD插槽，配合Synology SSD缓存技术可提升系统I/O和应用程序性能，同时DS923+预留网络升级插槽，可以扩展10G网卡，进一步提高网络性能。下面为大家带来它的评测体验。
2024-10-30 12:54:19
264
原创 一文讲清大模型AI应用架构
如果说2023年是模型大爆发的一年，这一年的机会主要给了大厂或者拿到大笔融资的创业者；那么2024年将是AI应用大爆发的一年，也意味着普通人有更多的机会加入这一浪潮。在讲述AI产品架构之前，我们先来看看客户的诉求。因为一切的设计都是从需求出发，AI产品也不例外。
2024-10-30 10:58:22
15
原创 Linux中定时运行shell脚本
确保你的脚本在没有交互的情况下可以正常运行，因为cron不会提供交互式shell环境。此外，如果你的脚本依赖于特定的环境变量，你可能需要在脚本中明确设置这些变量，因为cron不会加载用户的完整shell环境。是一个Linux下的定时任务守护进程，它可以根据设定的时间执行特定的任务。Cron将自动加载新的cron表，并在指定的时间执行任务。： 在打开的编辑器中，你可以添加一行来定义你的定时任务。这将打开一个编辑器，你可以在里面添加你的定时任务。： 首先，你需要有一个shell脚本文件，例如。
2024-10-28 11:37:37
177
原创 ubuntu22.04取消开机输入密码（实测）
保存并关闭，注意usename值的是你自己登录的用户名。转载 ubuntu22.04取消开机输入密码（实测），亲测可用，网络上的其他方法都不行。
2024-10-22 16:43:31
167
原创 【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM
语言模型的规模不断扩大，这对部署带来了巨大的挑战。本文设计了一种可扩展且稳定的1-bit Transformer架构来实现大语言模型，称为BitNet。具体来说，使用BitLinear作为标准nn的替代品。实验结果表明BitNet能够显著减少存储占用和能力消耗，并且与最先进的8-bit量化和FP16 Transformer能力相当。此外，BitNet也表现出了类似于全精度Transformer的scaling law，这也表明其有潜力在保持效率和性能的同时，能够更加有效的扩展至更大的语言模型。
2024-10-22 02:21:39
44
原创 【2024最新】Windows系统上Git详细图文安装及使用教程
这个就是在第一种基础上进行第三方支持，你将能够从 Git Bash，命令提示符(cmd) 和 Windows PowerShell 以及可以从 Windows 系统环境变量中寻找 Git 的任何第三方软件中使用 Git。这个的意思就是你只能通过 Git 安装后的 Git Bash 来使用 Git ，其他的什么命令提示符啊等第三方软件都不行。您将能够使用 Git Bash 中的 Git，命令提示符和 Windov PowerShell 以及在 PATH 中寻找 Git 的任何第三方软件。
2024-10-21 17:13:15
105
原创 【手撕LLM-sMoE】离GPT4又近了一步
近期欧美当红炸子鸡Mistral.AI发布了大模型，性能接近GPT4。其背后的实现原理为MoE，本文着重讲解sMoE。综上可以写出load balancing损失项现在我们再从分布的角度上看sMoE的均衡对每个expert的gating求和得到importance，可见均衡的importance的分布是更加平缓的右边比左边更好，分布平缓，说明在一个batch中每个expert取到的均衡的，非一家独大2. 对于单个expert在不同数据上，我们期望noise的增加，能使得gating值的分布是平缓的。
2024-10-18 19:50:32
24
原创 利用浏览器的开发者工具实时修改网页前端JS代码（实现绕过）
最近学习了一些有关于JS脚本搭建网站方面的安全知识。通常来说JS是前端的页面代码，因此我们可以直接修改前端的JS代码来实现绕过，故我试着做了一下利用浏览器的开发者工具进行尝试修改页面，以此来直接进行绕过的实验，特此记录。
2024-10-18 11:09:18
699
原创 synology【群辉NAS】的raid1和SHR有什么区别，raid0，raid1，raid5
当再加入一个硬盘的时候会自动转换成类似raid5模式（前提是你的NAS可以放3个及以上的硬盘），容量为N-1个硬盘的总容量，假如3个3Ｔ的硬盘，此时的SHR空间总容量为（3-1）*3T为6T的空间，后期可以慢慢加硬盘数据也不影响的。在于方便不熟悉磁盘阵列的玩家，傻瓜简单式的帮你组好磁盘阵列，而且还能合理利用容量大小不一的硬盘，减少浪费，raid是按照最小的硬盘算，而SHR则可以合理利用减少浪费，智能raid 推荐使用~容量为总空间的一半，N/2，如果有2块3T的硬盘，总容量为（3+3）/2。
2024-10-16 11:06:41
1123
原创 window下访问群晖nas文件的常用方法
用这种方法在nas中存放的文件，局域网中任意一台电脑都能访问到。打开磁盘管理，就可以看到一个100GB的为分配空间。我们在群晖的iscsi选项LUN界面中选择“动作”＞“编辑”，把容量从100改成200G。再选择目标，这时我们看到这里已经有一段iscsi连接，选中选择“连接”。然后我们再打开磁盘管理，就可以看到多了100GB的空间。这个分区也可以支持多重联机，当然你也可以在nas中建立多个iscsi服务，给多个用户来使用。登陆以后按照上文的步骤映射一个盘符，这样我们就可以获得一个50GB的共享空间了。
2024-10-08 22:28:12
1322
原创 ubuntu通过NFS挂载群晖NAS文件
▼管理员进系统后，在桌面找到“控制面板”--“共享文件夹”--“新增”。▼输入共享文件夹的名称，如果有多个存储空间，需要提前规划好所保存的位置，建议把“对没有权限的用户隐藏子文件夹和文件”勾选上，这样此文件夹对于没有权限的用户就隐藏了。勾选“回收站”方便后期文件夹内部文件删除后的找回，此功能建议只对管理员开放权限，避免造成数据的恶意删除。文件夹的命名规则建议提前规划好，避免后期在进行修改。
2024-10-08 21:43:32
737
原创 【diffusers】(一) diffusers库介绍 & 框架代码解析
说到现在最常用的stable diffusion代码，那肯定莫过于stable-diffusion-webui了，它的快捷安装、可视化界面、extension模块等等功能都拓展了使用人群。虽然在大多数情况下webui都有很好的适用性，但是在某些特殊需求或者应用场景下，我们需要对模型部分结构进行修改（比如把condition模块从文字换成图像，甚至是点云、图表、图结构等数据形式），这时修改模型的同时也需要修改前端可视化代码，时间成本上会较高（主要是我也不会Gradio）。那可不可以在源码上进行修改呢？
2024-10-08 20:29:07
129
原创 多模态文档理解：一文读懂mPLUG-DocOwl系列模型
随着人工智能技术的发展，多模态大型语言模型（MLLMs）在视觉-文本理解领域取得了显著进展。mPLUG-DocOwl系列模型作为其中的佼佼者，展示了强大的无OCR文档理解能力。本文将解读mPLUG-DocOwl系列模型的架构、训练策略及其在多页文档理解中的应用。mPLUG-DocOwl系列模型通过统一的指令调优策略、高效的视觉抽象器和低秩适应模块，提升了模型在各种文档理解任务上的性能。
2024-10-08 20:28:00
201
原创 面向大规模向量数据的云原生存储解决方案：Milvus 向量数据库的经验
导读 本文将分享⾯向⼤规模向量数据的云原⽣存储解决⽅案。文中将介绍 Milvus 向量数据库的存储、索引、查询等功能，以及向量数据库的典型应用场景和存储解决方案。接下来的分享将围绕下面五点展开：1. 关于 Zilliz2. 向量数据库3. 典型用例4. 存储解决方案5. 总结分享嘉宾｜徐冬 Zilliz 首席工程师编辑整理｜华永奎内容校对｜李瑶出品社区｜DataFun01关于 Zilliz在正文开始前，先来简单介绍一下 Zilliz 公司。作为全球向量数据库技术的开创者，Zilliz 在开源社区中的贡献和影
2024-10-08 04:19:36
339
原创 SIFT-1B-十亿规模向量检索数据集下载【bigann_base.bvecs.gz】
最近做的工作和大规模向量检索有关，在做实验时用到经典的PQ-based ANNS论文中提到的十亿规模数据集，该数据集BIGANN提供了不同的的检索数据集，从10K到1B，有SIFT和GIST两种不同的表示方法。特别地，网站提供了ANN_SIFT1B的数据集，其中 Base set 是检索库，有 10 亿个 128 维的向量；Learning set 学习集用来学习k-聚类参数k值；Query set 是 10M个 128 维的查询集；Ground truth 用于评判质量的真实值。
2024-10-08 03:11:50
67
原创 vscode server for wsl closed unexpectedly 错误解决（vscode无法连接到wsl2，server无法启动）
又既然vscode和wsl2的配置我们都不想重新设置，而且已知vscode和wsl2都能独立正常运行，那么为什么不只重置连接协议呢？2、如果是wsl2本身启动不了，请尝试重启wsl2或者自行寻找修复wsl2的解决方法，此文只解决wsl2和vscode连接的问题。只是为了解决wsl2和vscode之间的连接问题，为了保留住以往wsl2中的配置和工程，我们为什么不选择重装vscode呢？在wsl2里找到~/.vscode-server/ 连接配置文件目录，暴力删除该目录，再用vscode重新尝试连接wsl2。
2024-08-24 16:09:58
785
原创 VSCode：C++在.h头文件和.cpp源文件之间切换
在源文件和头文件之间切换了。在vscode中安装Switcher拓展。（我也不知道为什么）。
2024-08-24 00:22:21
752
原创 VSCode：C++语言没有代码提示
时安装了clangd插件后，C/C++插件没有代码提示，我的原因在于clangd的插件与C/C++冲突，点击自动配置后，C/C++的代码提示功能被禁用了。
2024-08-24 00:15:50
1312
原创 ROS Noetic入门完整版
ROS目前只能在基于Unix的平台上运行，因此我们使用Ubuntu来作为ROS的系统。这里我们安装了和。本机和虚拟机安装详见以下文章，选其中一种即可笔记本安装 Windows10 和 Ubuntu20.04 双系统VMWare虚拟机安装Ubuntu20.04详细过程。
2024-08-23 23:27:55
265
原创 VSCode 、Cmake、C++调试教程
下面的代码片段中，使用install安装demo_test，并分别将可执行文件安装在bin中，动态链接库和静态链接库都安装在lib，公共头文件安装在include。这里我们用到add_library,和add_executable一样，Account为最终生成的库文件名（lib库名称.a），第二个参数是用于指定链接库为动态链接库（SHARED）还是静态链接库（STATIC），后面的参数是需要用到的源文件。program:要调试的代码的绝对目录，一般填的是“${file}”， 也可以改成其他的文件。
2024-08-23 22:48:00
1233
原创 解决ubuntu22.04不能使用todesk问题（显示没有x11桌面）
Red Hat Enterprise Linux 8 默认使用 X.Org libinput 驱动程序，但如果设备与 libinput 不兼容，则可以回退到 X.Org evdev 驱动程序。Red Hat Enterprise Linux 8 继续使用 X.Org wacom 驱动程序，它用于 Red Hat Enterprise Linux 7 中的平板设备。在 X.Org 下，libinput 作为 X.Org libinput 驱动程序来实现，驱动程序支持概述如下。下的行为可能有所不同。
2024-08-14 21:52:46
1309
原创 安卓端侧大模型MLC-LLM部署全攻略：以InternLM2.5-1.8B为例
上传这一步需要能访问 HuggingFace，可能需要部署代理，如果没有代理可以直接在接下来的配置中使用此链接https://huggingface.co/timws/internlm2_5-1_8b-chat-q4f16_1-MLC 中的模型。可参考 https://llm.mlc.ai/docs/install/mlc_llm.html （如果下载很慢可以取消重新运行一下，或者本地下载了之后拷过去）。在打包之前可以测试模型效果，需要编译成二进制文件，已成功在个人电脑上运行测试代码。
2024-08-14 21:04:59
160
原创 什么是分贝dB？
若两个声压级SPL1=SPL2=60dB，但两个声源是相关、同相位的，则合成后的声压级SPL为66dB，因为60dB对应0.02Pa，两个相加为0.04Pa，对应66dB。通常，低频段和高频段声音感知能力不如中频段，效果是在低声压级更明显，在高声压级时会被压平，如图中各条曲线（等响曲线）所示，声压级越小的区间，曲线越陡峭，声压级越大的区段，曲线越平坦。正是因为人耳对不同的频率，敏感度不一样，即使声压级的量级一样，听起来也不一样，所以，需要对真正听到的声压级通过增益因子进行修正，而用得最多的则是A计权。
2024-08-12 23:38:10
85
原创 win10/win11 WSL2问题解决WslRegisterDistribution failed with error: 0x800701bc
在win10 2004系统中，WSL1安装Mongodb永远无法启动，于是按照网上的教程，升级到了WSL2。造成该问题的原因是WSL版本由原来的WSL1升级到WSL2后，内核没有升级，前往微软WSL官网下载安装适用于 x64 计算机的最新 WSL2 Linux 内核更新包即可。win10 WSL2问题解决WslRegisterDistribution failed with error: 0x800701bc。
2024-08-12 22:38:39
175
原创 MLC-LLM框架的安卓应用部署实战
这里稍微讲解了一些MLC的基本概念，以帮助我们使用和了解 MLC LLM。MLC-LLM 由三个不同的子模块组成：模型定义、模型编译和模型运行。MLC LLM 的三个独立子模块➀ Python 中的模型定义。MLC 提供各种预定义架构，例如 Llama（例如 Llama2、Vicuna、OpenLlama、Wizard）、GPT-NeoX（例如 RedPajama、Dolly）、RNN（例如 RWKV）和 GPT-J（例如MOSS）。开发人员可以仅使用纯 Python 定义模型，而无需接触编码。
2024-08-12 00:47:47
96
原创 CMAKE：-fPIC参数
使用 CMake 添加-fPIC是非常灵活的，你可以根据项目的需求选择不同的方法来确保生成位置无关代码。如果你的项目需要生成共享库，那么添加-fPIC是一个好习惯，以确保共享库的兼容性和可移植性。
2024-08-10 21:56:27
627
原创 基于VSCode和CMake实现的C/C++开发-Linux篇
总而言之，本课程将从零开始，教会你如何在Linux开发C/C++，带领你一起打开新世界的大门~课程宗旨：无干货，不视频。分享让生活更美好。什么是linux系统？多用户多任务：Windows属于：单用户、多任务。Linux属于：多用户、多任务。Linux一切皆文件对于文件的操作的都有哪些种类？目录结构：指令含义：Linux的指令是指在Linux**终端（命令行）**中输入的内容。指令格式： 1.3 重要指令讲解 +【实战】命令行 pwd - Print current working di
2024-08-10 19:37:21
699
原创 解决错误apt --fix-broken install
命令行提示我们重写文件的时候，发生了冲突。这意味着，我们要么强制重写这个文件，或者将这个冲突文件删除，重新安装依赖包。如果，你可以成功安装，那么恭喜恭喜，成功解决。这个时候，会让你安装一些依赖包，会提示你是否安装，选择Y。继续看下来的人，我们都同病相怜。我继续运行后，开始报错。，你可以尝试使用以下的解决方案。如果你还是不行，你可以尝试移除文件，然后安装程序。之后，你就可以安装你想安装的程序了。大致意思就是下面的包没有依赖关系。今天在配置网络的时候，在安装。这个文件，就是之前蓝色框，当你看到这句话的时候，
2024-08-10 19:07:48
1278
原创 aria2安装和使用（Ubuntu 20/Win 10）- 多源多连接可断点续传下载工具
http协议可以在request head指定range, 也就是可以将文件分片下载，可以用下面的命令测试http服务器是否支持range，这个命令指定下载文件的第3和4个字节(字节从0开始编号)，保存到r3文件。
2024-08-05 20:17:45
150
原创 如何快速下载huggingface模型——全方法总结
以上，我们介绍了浏览器、多线程工具、git clone、huggingface-cli、hf_transfer、python方法、hfd脚本等众多方法，各自有其适用场景，大家根据自己的操作系统的支持情况以及个人习惯来选择。默认推荐使用，对外网连接较好（丢包少）的时候，可尝试（可选）。网络连接不好，推荐先其次再对大文件用第三方、成熟的多线程下载工具，Linux 和 Mac OS 推荐hfd脚本+aria2c，Windows 推荐 IDM。
2024-08-05 19:54:15
227
原创 C++-关键字：noexcept
是C++11标准引入的一个关键字，用于指示一个函数是否被保证不会抛出异常。如果但从设计角度看会感觉很奇怪，明明是有问题才抛出异常，那为什么还是在某些时候禁止抛异常呢？接下来我们了解下C++11 为什么引入了noexcept关键字？
2024-08-04 16:32:48
1056
原创 一文读懂语音领域的波束形成Beamforming
波束形成是个很有意思的方向，应用从雷达领域到5G领域，近几年在语音识别领域也大放光彩。本文主要聚焦于波束形成在语音领域的应用。对于单麦克风来说，没有波束的概念；波束形成主要针对多麦克风阵列，融合多个通道的数据，对噪声和干扰方向进行抑制，增强目标方向的信号。一种方式是找到目标信号的方向，一般用导向矢量（steering vector）进行表示，基于此增强目标信号；一种方式是找到干扰信号的方向，进行抑制，剩下的就是目标信号。
2024-08-03 20:29:53
86
《Approaching (Almost) Any Machine Learning Problem》
2023-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人