llm.c的Makefile

最新推荐文章于 2024-10-12 18:28:57 发布
最新推荐文章于 2024-10-12 18:28:57 发布
阅读量1.1k 收藏 20
点赞数 17
分类专栏： 人工智能 # C语言 文章标签： c语言 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eidolon_foot/article/details/138678181
版权

源码

CC ?= clang
CFLAGS = -Ofast -Wno-unused-result -Wno-ignored-pragmas -Wno-unknown-attributes
LDFLAGS =
LDLIBS = -lm
INCLUDES =
CFLAGS_COND = -march=native

# Find nvcc
SHELL_UNAME = $(shell uname)
REMOVE_FILES = rm -f
OUTPUT_FILE = -o $@
CUDA_OUTPUT_FILE = -o $@

# NVCC flags
# -t=0 is short for --threads, 0 = number of CPUs on the machine
NVCC_FLAGS = -O3 -t=0 --use_fast_math
NVCC_LDFLAGS = -lcublas -lcublasLt
NVCC_INCLUDES =
NVCC_LDLIBS =
NCLL_INCUDES =
NVCC_CUDNN =
# overridable flag for multi-GPU training. by default we won't build with cudnn
# because it bloats up the compile time from a few seconds to ~minute
US
了解本专栏 订阅专栏 解锁全文 超级会员免费看
109702008
关注
专栏目录
订阅专栏
C语言写的LLM训练
数字人生
05-06 2133
特斯拉前 AI 总监、OpenAI 创始团队成员 Andrej Karpathy 用 C 代码完成了 GPT-2 大模型训练过程：karpathy/llm.c: LLM training in simple, raw C/CUDA (github.com) 从HF-Mirror - Huggingface 镜像站下载gpt2模型： 训练结果： 测试结果： “真男人就应该用 C 编程”！大神用 1000 行 C 代码手搓了一个大模型-电子头条-EEWORLD电子工程世界llm.c代
LLM - 在服务器中使用 Ollama + OpenWebUI 部署最新大模型
Mystra
08-07 665
Ollama 是一个开源的大型语言模型（LLM）服务工具，目的是简化本地运行大语言模型的过程，降低了使用大语言模型的门槛，使开发者、研究人员和爱好者能够在本地环境中快速实验、管理和部署最新的大语言模型。
llm.c运行本地环境配置（cpu版本）以及如何使用cmake工具在linux下进行编译运行
m0_72899202的博客
05-25 821
本文旨在记录初学者在探索Karpathy大佬的llm.c项目时配置本地环境的过程和粗略的解决方法，并且更进一步的探索llm.c的文件架构和一些代码内容，以期使用cmake的方式完成对llm.c在linux上运行和在windows下相同的可执行内容。以上内容皆以llm.c给出的cpu版本为例。（因笔者未系统学习过深度学习，所以本文不多涉及具体原理）项目部署的环境如下：Nvidia独立显卡+驱动(driver)windows11命令行（powershell）
windows下使用MinGW+msys编译ffmpeg，以及如何加入eclipse CDT调试
ganhuanghuang的专栏
12-12 2386
原文地址：http://blog.chinaunix.net/uid-20718335-id-2980793.html 我参照该文章成功编译ffmpeg,其中稍微修改或者说明了一些内容。HGH MARK就是我说明的。 看了其他网上大多数编译ffmpeg的都较简单，这篇文章带了比较多的第三方库。原作者写的很详细，感谢了。 我是2012年12月12日编译，均采用了最新的软件版本。其中ffmpeg
linux make java版本,告诉make是否在Windows或Linux上运行
weixin_29191761的博客
03-16 185
更新请阅读这个类似但更好的答案：https：//stackoverflow.com/a/14777895/938111make (和 gcc )可以使用Cygwin或MinGW在MS-Windows上轻松安装 .正如@ldigas所说， make 可以使用 UNAME:=$(shell uname) 检测平台(命令 uname 也由Cygwin或MinGW安装程序安装) .下面，我提供了一个基于 ...
41集群上安装rocm版本的nwchem
jslove1997的博客
03-04 2094
1.编译openblas库 参考在apps上编译nwchem的指南
开源项目 llm.c 使用教程
gitblog_00329的博客
08-09 375
开源项目 llm.c 使用教程 llm.c使用简单、原始的 C/CUDA 进行大型语言模型（LLM）的训练。项目地址:https://gitcode.com/gh_mirrors/ll/llm.c 1. 项目的目录结构及介绍 llm.c/ ├── dev/ │ ├── cuda/ │ ├── data/ │ └── ... ├── src/ │ ├── main.c │ ├─...
llm.c项目运行（小白版）
最新发布
sinat_41053216的博客
10-12 338
可能没有cudnn,会报异常：Makefile:122: *** ✗ cuDNN not found. See the README for install instructions and the Makefile for hard-coded paths. Stop.不过我的显卡显存不够，于是选择编译train_gpt2.cu， 该文件使用了混合精度训练。需要使用openAI发布的GPT2权重初始化，然后微调，以便在C中加载。这里可能会失败，没关系，多试几次可能就成功了。
支持AMD GPU的llm.c
数字人生
06-02 1017
这个脚本将下载GPT-2 (124M)模型，对单批数据进行了10次迭代的超过拟合，运行了几步生成，并且更重要的是它将保存三个文件：1）`gpt2_124M.bin`文件，它包含了原始模型权重以便在C语言中加载，2）`gpt2_124M_debug_state.bin`文件，这也包含了更多的调试状态：输入，目标，逻辑和损失（对于调试和单元测试很有用），最后3）`gpt2_tokenizer.bin`文件，它存储了GPT-2分词器的词汇表，将分词id转换为UTF-8编码字符串片段的字节序列。
《Python基础教程》内容总览篇（持续更新中）
热门推荐
weixin_43178406的博客
08-26 21万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
【LLM】Ollama开发指南
步子哥的博客
03-10 1358
会根据常见CPU类型和矢量计算能力编译几个LLM库的变体,包括一个兼容大多数64位CPU但性能较低的通用版本。发行版软件包通常更可取,但每个发行版的安装步骤可能不同。您的操作系统发行版可能已经提供NVIDIA CUDA软件包。发行版软件包通常更可取,但每个发行版的安装步骤可能不同。通常构建脚本会自动检测CUDA,但是,如果您的Linux发行版或安装方式使用非常规路径,您可以通过设置环境变量。通常构建脚本会自动检测ROCm,但是,如果您的Linux发行版或安装方式使用非常规路径,您可以通过设置环境变量。
系统调用捕获和分析—使用LKM方法添加系统调用
H4ppyD0g的博客
06-13 508
本文为毕业设计过程中学习相关知识、动手实践记录下来的完整笔记，通过阅读本系列文章，您可以从零基础了解系统调用的底层原理并对系统调用进行拦截。由于本人能力有限，文章中可能会出现部分错误信息，如有错误欢迎指正。另外，本系列所有内容仅作为个人学习研究的笔记，转载请标明出处。感谢您的关注！这也是作者极力推荐的一个系列文章！完整系列文章列表 系统调用捕获和分析—通过ptrace获取系统调用信息 系统调用捕获和分析—通过strace获取系统调用信息 系统调用捕获和分析—必备的系统安全的知识点LKM(Load Kerne
解决Ubuntu20软件中心空白、搜不到软件的问题
数字人生
01-21 2万+
想通过软件中心安装vscode，打开左侧工具栏上的Ubuntu Software，里面的软件都是显示空白，搜vscode也没搜到。 通过网上的搜索和自己的一顿操作，问题算是解决了。什么原因还没有分析。记录如下： sudo apt update sudo apt upgrade sudo systemctl reboot software-properties-gtk 上面的software-properties-gtk命令是通过查看/usr/share/applications文件夹看到的。 so
windows ollama 指定模型下载路径
数字人生
05-28 1万+
打开任务管理器，转到“进程”标签（或Windows 10及更高版本的“详细信息”标签），找到与"Ollama"相关的进程，右键点击并选择“结束任务”。如果使用的是某些特定的IDE或代码编辑器，它们可能有自己的方式来设置环境变量。在Windows系统中，如果想为Ollama指定模型的下载路径，可以通过设置环境变量来实现。在设置环境变量时，确保路径是正确的，并且有足够的权限来访问和写入该目录。在“系统变量”或“用户变量”部分，点击“新建”来创建一个新的环境变量。右键点击“此电脑”或“计算机”，选择“属性”。
使用LoRA进行高效微调：基本原理
数字人生
05-26 6694
选择一个预训练的神经网络模型，例如ResNet、Transformer等。为了简单起见，您可以选择一个轻量级的卷积神经网络（CNN）。
jupyter notebook输出表格
数字人生
05-07 5815
只要把 “print()” 去掉就好了. 参考： Jupyter Notebook输出表格格式化（自动对齐） - 灰信网（软件开发博客聚合） (freesion.com)
常见分类算法
数字人生
04-11 4684
综上，这些分类算法各有特点和适用场景，选择合适的算法通常取决于具体问题的性质、数据的特点以及所需的性能指标。此外，随着技术的发展，新的分类算法和改进方法也在不断出现，因此在选择分类算法时，应关注最新的研究和技术动态。它的核心思想是，一个样本的类别由它最近的K个邻居的类别决定。这些分类算法各有优缺点，选择合适的算法通常取决于具体问题的特点、数据的规模和性质以及计算资源等因素。这些算法涵盖了人工智能领域中常见的分类方式，每种算法都有其特定的应用场景和优缺点，选择时需根据具体任务需求和数据特性进行考量。
web前端三大主流框架
数字人生
06-06 3983
它采用MVVM（Model-View-ViewModel）模式，通过数据绑定和依赖注入，将界面的状态和数据进行统一管理，提供了丰富的功能和特性，如路由管理、表单验证、模块化等。随着前端技术的发展，新的工具和框架也可能会逐渐崛起，成为开发者的新选择。这三个框架都具有自己独特的特性和优势，选择合适的框架取决于项目的需求、团队的技术栈和个人的偏好。总结来说，Angular、React和Vue.js是目前web前端开发领域的三大主流框架，它们各有特点，适用于不同的开发场景和需求。
【linux】AMD GPU和NVIDIA GPU驱动安装
数字人生
03-31 3634
综上，根据用户对性能和特性的需求以及所使用的Linux发行版，AMD GPU的驱动在安装上可以被认为相对简便，尤其是当满足于开源驱动提供的性能时。为了充分利用显卡的高性能计算（HPC）功能，可能需要安装AMDGPU-PRO驱动，这是AMD的官方专有驱动，它提供对OpenCL和其他专用计算框架的全面支持。对于Linux用户，AMD通常提供可执行的安装文件（比如`.run`或者`.sh`文件）或者用于各个发行版的包管理格式（例如Debian的`.deb`或者RedHat的`.rpm`）。
class BaseAnswer(ABC): """上层业务包装器.用于结果生成统一api调用""" @property @abstractmethod def _check_point(self) -> LoaderCheckPoint: """Return _check_point of llm.""" @property @abstractmethod def _history_len(self) -> int: """Return _history_len of llm.""" @abstractmethod def set_history_len(self, history_len: int) -> None: """Return _history_len of llm.""" def generatorAnswer(self, prompt: str, history: List[List[str]] = [], streaming: bool = False): pass
06-03
这是一个抽象基类BaseAnswer，它定义了一些通用的接口用于生成对话回复。该类包含三个抽象方法和一个非抽象的方法。 其中，_check_point是一个抽象属性，用于返回LoaderCheckPoint类型的对象，该对象用于加载预训练模型的参数。 _history_len是另一个抽象属性，用于返回历史记录的长度。 set_history_len是一个抽象方法，用于设置历史记录的长度。 generatorAnswer是一个非抽象方法，用于生成AI对话回复，接受一个字符串类型的输入prompt作为对话的开始，一个可选的历史记录参数history用于提供对话历史记录，以及一个streaming参数用于控制回复的长度。该方法在执行时会返回一个字符串类型的回复。 这个抽象基类的目的是为了方便上层业务包装器实现对话回复生成的统一API调用。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

109702008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值