- 博客(12)
- 收藏
- 关注
RSS订阅原创 AI能取代程序员吗？
正常的public数据里面能反应的应该的正常水平的attention权重， 但是reasoning是不寻常的，一个复杂的reasoning往往是将看似没有关联的信息联系起来，这个应该正好和attention的训练目标相反。复杂的reasoning是。的游戏，并不适合大多数人，那样即使要训练，正常也应该取少数人的样本数据来训练，但是这样的数据量不足以支持数十亿的参数训练。, 目前应该不是transformer为基础的模型能解决的.所以我一直觉得， 如果要让chatgpt拥有高于常人的。
2024-03-14 15:50:11
397
1
原创 AI模型我的偏见
其实我觉得并非如此，单说软件开发过程，仅我个人的经验而且，在软件开发过程中，最耗费精力的一个是需求分析，一个是测试，其次是设计和整理逻辑关系，最后才是写代码，其实单独写代码是很快的，而目前的AI也只是辅助写一些代码片段，它在一定程度上起到了辅助作用，说取代实在谈不上。而这些模型训练的过程可以类比之前看过的一些新闻中描述的动物学习的过程，比如说训练狗做加减乘除，给一些加减算法的例子，狗能找到对应的答案，而大语言训练的过程也是类似，只不过大语言模型训练的参数非常庞大，而且内容非常的多。
2024-03-13 09:50:51
252
原创 python 技巧1
运算符可以用于赋值表达式，它可以在表达式中赋值，然后返回赋值的值。一样的，如果输入的字符串不为空，则打印输入的字符串，否则退出循环。不为空，则打印输入的字符串，否则打印“你没有输入任何字符串”。如果匹配到数字，则打印匹配到的数字，否则。返回None, 而None自动转换成。, 所以打印“没有匹配到任何数字”。这个在python中自动转换。而空字符串在python中是。，然后将其结果赋值给。
2024-03-10 10:50:11
204
1
原创 添加chat template到gguf模型文件
查看gguf模型中kv的结构，找到需要插入的位置，确认。的bytes的长度，根据model对齐长度，添加空格到。的bytes，添加到模型文件中。重新写入新的gguf文件。
2024-03-07 19:22:39
265
2
原创 TMUX 小技巧
tmux作为常用工具，有一些比较特别的功能。以下为tmux的help快捷键。以上快捷键切换到vi环境。以下为paste的快捷键。
2024-03-05 16:31:22
131
原创 python中连接C中好玩的现象
奇怪在于，按照python的规格，执行代码应该从左到右，从上到下，但是这里的输出结果却是先输出了。以下是简单的C代码lib.c，用于测试Python中的C绑定。再来, 我在prompt后sleep一下。
2024-03-01 19:29:41
129
1
原创 Makefile详解
Make 提供了丰富的自动变量，但实际项目中常用的往往只有少数几个。下面重点介绍您最有可能用到的几个：$@：当前目标表示正在处理的规则的目标文件名。例如，在 %.o: %.c 规则中，$@ 代表 .o 文件名，而 < 则代表对应的 .c 文件名。$
2024-02-18 20:26:55
886
原创 解密 LLAMA2 代码：揭开语言人工智能惊奇的秘密
在不断发展的 AI 和自然语言处理领域，深度学习模型的突破推动着机器理解和生成人类语言的能力。在这些杰出的模型中，LLAMA2 Transformer 脱颖而出，成为真正的游戏规则改变者，将语言理解和生成的可能性推向新的高度。LLAMA2 基于 Transformer 架构，融入了先进技术和架构创新，代表了 cutting-edge 的演进。本文将深入 LLAMA2 的内部运作，揭开其理解、生成和处理自然语言文本的魔法。
2024-02-17 09:08:49
1024
1
原创 Python 环境管理
python使用虚拟环境的原因也很简单，就是解决不同项目之间的依赖问题，比如项目A需要用到一个版本的requests, 项目B需要用到另一个版本的requests, 这时候就需要两个独立的python环境。最早使用的是virtualenv, 当时python还没有venv, virtualenv是一个第三方的包，用于创建独立的python环境。后来python3.3开始自带了venv, 用法和virtualenv差不多，但是venv更加简单，不需要安装额外的包。
2024-02-08 13:58:33
299
原创 AI化学应用
作为有一点化学背景的程序员，我一直对AI对化学方面的应用感到好奇，2023是AI非常热门的一年。各种LLms的模型，和AGCs模型的应用，让人感的非常惊叹。虽然这一波热潮过后，人们会稍微理智一些看待各种模型的应用，这些模型前所未见，但也没有想象中那么强大，说是“智能”似乎还为时过早。当然，我对AI在化学的应用也很关注，但是AI在化学的应用方面还不太成熟。我关注于AI在化学合成方面的应用。
2024-02-01 16:10:08
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人