AI
文章平均质量分 59
bruceunx
python/c/c++/c#/rust 程序猿 github.com/bruceunx
展开
-
AI能取代程序员吗?
正常的public数据里面能反应的应该的正常水平的attention权重, 但是reasoning是不寻常的,一个复杂的reasoning往往是将看似没有关联的信息联系起来,这个应该正好和attention的训练目标相反。复杂的reasoning是。的游戏,并不适合大多数人,那样即使要训练,正常也应该取少数人的样本数据来训练,但是这样的数据量不足以支持数十亿的参数训练。, 目前应该不是transformer为基础的模型能解决的.所以我一直觉得, 如果要让chatgpt拥有高于常人的。原创 2024-03-14 15:50:11 · 422 阅读 · 1 评论 -
AI模型我的偏见
其实我觉得并非如此,单说软件开发过程,仅我个人的经验而且,在软件开发过程中,最耗费精力的一个是需求分析,一个是测试,其次是设计和整理逻辑关系,最后才是写代码,其实单独写代码是很快的,而目前的AI也只是辅助写一些代码片段,它在一定程度上起到了辅助作用,说取代实在谈不上。而这些模型训练的过程可以类比之前看过的一些新闻中描述的动物学习的过程,比如说训练狗做加减乘除,给一些加减算法的例子,狗能找到对应的答案,而大语言训练的过程也是类似,只不过大语言模型训练的参数非常庞大,而且内容非常的多。原创 2024-03-13 09:50:51 · 284 阅读 · 0 评论 -
添加chat template到gguf模型文件
查看gguf模型中kv的结构,找到需要插入的位置,确认。的bytes的长度,根据model对齐长度,添加空格到。的bytes,添加到模型文件中。重新写入新的gguf文件。原创 2024-03-07 19:22:39 · 371 阅读 · 2 评论 -
解密 LLAMA2 代码:揭开语言人工智能惊奇的秘密
在不断发展的 AI 和自然语言处理领域,深度学习模型的突破推动着机器理解和生成人类语言的能力。在这些杰出的模型中,LLAMA2 Transformer 脱颖而出,成为真正的游戏规则改变者,将语言理解和生成的可能性推向新的高度。LLAMA2 基于 Transformer 架构,融入了先进技术和架构创新,代表了 cutting-edge 的演进。本文将深入 LLAMA2 的内部运作,揭开其理解、生成和处理自然语言文本的魔法。原创 2024-02-17 09:08:49 · 1101 阅读 · 1 评论 -
AI化学应用
作为有一点化学背景的程序员,我一直对AI对化学方面的应用感到好奇,2023是AI非常热门的一年。各种LLms的模型,和AGCs模型的应用,让人感的非常惊叹。虽然这一波热潮过后,人们会稍微理智一些看待各种模型的应用,这些模型前所未见,但也没有想象中那么强大,说是“智能”似乎还为时过早。当然,我对AI在化学的应用也很关注,但是AI在化学的应用方面还不太成熟。我关注于AI在化学合成方面的应用。原创 2024-02-01 16:10:08 · 317 阅读 · 0 评论