- 博客(1686)
- 资源 (971)
- 问答 (2)
- 收藏
- 关注
RSS订阅
转载 【然天一】随机读写（4k）百盘天梯
随机读写适用于大量小文件的读写，是最贴近办公和编程的使用场景。现在很多硬盘厂商只宣传它们的连续读写（Seq），但除了游戏场景之外并没有什么卵用。总结一下：傲腾秒杀全部 NANDSLC 秒杀 MLC、TLC。所有 MLC 和 TLC 均不过百（MB/s）PCIE 4 和 PCIE 3 在 MLC 和 TLC 上差距并不明显。...
2022-02-07 10:49:06
13034
2
原创 Whisper 整体架构图
音频编码器和文本解码器。编码器的 Transformer 模块只有自注意力，解码器的Transformer 模块有一个自注意力一个交叉注意力。Transformer 模块，包含一个自注意力，一个交叉注意力（可选）和一个 MLP 模块。注意力机制模块，兼容自注意力和交叉注意力。Whisper 整体模型。
2023-10-21 21:15:56
504
原创 ChatGLM2-INT4 + Lora 结构适配和改造
Lora 是目前公认的最好的微调方法，一方面，它并不像AdapterTuning 一样，改变原有模型的架构，不便于在不同框架之间迁移；另一方面，它不像 PTuning 一样改变所有任务下的单词生成概率，严重破坏已习得的知识。ChatGLM2-INT4 这个量化版本使用自定义的作为线性模块。如果我们要使用 PEFT 库添加 Lora 参数时，它就会不认识，因为它是为准备的，于是我们只能自己写个模块来实现这件事情。
2023-10-21 11:52:41
312
原创 ChatGPT 调教指南：从 PDF 提取标题并保存
我没有加任何的答案提示，看看 GPT 如何反应。它应该是知道 PDF 没有任何语义信息，一切标题或者正文全是文本框。它里面有个错误，应该是，我改了过来。这个逻辑完全不对，我试了以下我手头的一个文字 PDF（三眼文集.pdf），第二页doc[1]的第一行就是标题。看看能不能提取这个文本块的确是标题，但是type不是 1，根本提取不出来。
2023-10-01 15:24:55
1193
原创 VisionTransformer（ViT）详细架构图
每个片段一共产生768个值，顺序排列得到一个一维向量，就是它的嵌入向量，然后所有片段的嵌入向量再顺序排列，得到整个图片的嵌入序列，就是这样。（4）之后会添加位置嵌入，不是编码，因为它是可以学习的，也就是不锁定梯度。，这个嵌入向量没有其它意义，只代表输出的这个位置的嵌入，应该计算为整个图像的类别嵌入。（7）TF块之后会有个LayerNorm，原图里没有，这个也是很多变体里面出现过的。的三维数组，想把它塞进去必须经过一步转换，这是嵌入模块做的事情。（2）Tranformer要的是嵌入向量的序列，大概是。
2023-09-30 18:02:51
334
原创 问 ChatGPT 关于GPT的事情：压缩篇
要将一个175B的GPT模型压缩成6B的小型模型，可以采取以下具体步骤：1.网络架构优化：可以尝试使用更轻量级的模型架构，如MobileBERT或TinyBERT。这些架构在保持相对较小的模型尺寸的同时，仍然具有合理的性能。2.参数剪枝：通过删除冗余参数来减小模型的大小。可以使用剪枝算法，如L1-norm剪枝或Taylor剪枝，将参数的重要性排序并进行剪枝。3.量化：通过将模型参数从浮点数转换为较低位数的定点数或整数来减小模型的大小。例如，可以使用8位整数量化代替32位浮点数。
2023-09-29 21:41:29
1265
1
原创 问 ChatGPT 关于GPT的事情：扩展篇
对于GPT预训练，有一些技巧可以帮助节省显存和算力。以下是一些常用的技巧：按批次截断：在较长的文本序列中，将其切割成较短的子序列进行处理。这样可以减少每个批次的序列长度，节省显存和算力。动态掩码：对于较长的序列，可以动态地将一部分标记设置为特殊的掩码标记，从而减少计算量和显存使用。梯度累积：将多个小批次的梯度累积并一起更新模型参数。这样可以减少显存需求，并使得模型更加稳定。混合精度训练：使用混合精度训练可以减少显存使用，并提高模型训练速度。
2023-09-29 20:49:52
934
原创 问 ChatGPT 关于 GPT 的事情：数据准备篇
对于这些自然语言任务，可以通过针对特定任务的指导性示例来训练模型。例如，对于规划任务，可以提供一些关于规划的示例问题和相应的答案，让模型学会生成合适的规划建议。对于总结文本任务，可以提供一些文本段落和相应的摘要，让模型学会总结文本的能力。对于翻译任务，可以提供一些双语对照的句子，让模型学会将一种语言翻译成另一种语言。在训练过程中，可以使用一种称为"无监督预训练"的方法，先让模型自己学习语言的一般模式和结构，然后再使用有监督的任务来进一步微调模型。这样做可以提高模型在各种自然语言任务上的表现。
2023-09-29 19:17:24
1108
1
原创 KVCache原理简述
HS[-1]根据全部的V和注意力矩阵的最后一行A[-1]计算，而A[-1]根据Q[-1]和全部的K计算，Q[-1]只根据输入最后一个字符X[-1]计算。改进之后，我们GPT根据【天王盖地虎，】生成【宝】，同时还有KV(天王盖地虎，)，然后根据KV(天王盖地虎，)和【宝】生成【塔】以及KV(天王盖地虎，宝)，以此类推。那么第一次，GPT根据【天王盖地虎，】生成【宝】，之后根据【天王盖地虎，宝】生成【塔】，以此类推，直到碰上终止符。例如，我们的提问是【天王盖地虎，】，回答是【宝塔镇河妖。
2023-09-21 12:40:25
311
原创 解决 ChatGLM.CPP+clBlast 编译错误（也适用于SD.CPP）
如果还是出现【clblast not found】，说明 CMake 并没有找到 VCPKG 安装的库文件。到总的包含路径里面。并且 clBlast 一来 OpenCL，也没有添加 OpenCL 的静态库，会导致找不到各种。换成 VCPKG 的存储路径，我的开发环境中大概是。这个项目 GGML 子仓库中，可以看到头文件名称写错（应该是。
2023-09-18 15:12:59
265
原创 iBooker 技术评论 20230917
假如我们想做一件事，叫MainProc，它分为三个主要步骤，SubProc1，SubProc2，SubProc3，然后每个又分为两个小步骤，例如MiniProc11，MiniProc12。第一个就是无法分享。那就是SubProc1里面，除了调用MiniProc11，MiniProc12，还传入SubProc2作为回调。但是在async-await 模式中没有这种问题，因为我们可以把MainProc设成async的，然后await调用SubProc1，SubProc2，SubProc3，看起来非常赏心悦目。
2023-09-17 13:13:43
213
原创 ChatGLM2 源码分析：`ChatGLMForConditionalGeneration.chat, .stream_chat`
【代码】ChatGLM2 源码分析：`ChatGLMForConditionalGeneration.chat, .stream_chat`
2023-09-12 21:42:45
469
1
原创 施展世界：GPT时代需要的教育，是学会如何提出好问题
来源：BV1co4y1W7h7有很多脑力活，它实际上是伪装成脑力活的体力活，它在回答问题这个层面，那是非常的厉害，人现在肯定是比不过它了，注意了，这是回答问题的层面，但问题是谁来问问题呢，对于未来的世界，未来的社会。我们现行的教育机制，也必须得有一个深刻的改革。
2023-09-09 20:16:50
279
原创 iBooker 技术评论 20230909
第二个就是东南亚突破重重阻力搞起来了，但是呢它们也吸取了东方某大国的经验教训，没有一味提高产能，而是一边提高产能一边提高消费能力。东南亚嘛，根本没啥道德包袱，也不会惯着你美帝，当他们强大了，估计会把欧美的工业打得七零八落，最大消费市场也得夺走。要真正实现按需分配，我看等到把AI4S的科技都点完了还差不多，现在早着呢。编译过程中的符号擦除也能由GPT轻松解决，甚至GPT还能一键加注释，帮你分析可能的漏洞并编写EXP。AI并不会理解没有教给它的事物，计划经济也不会理解新增或者个性化的需求，简直是异曲同工。
2023-09-09 18:47:26
246
原创 【Python 自动化】小说推文一键生成思路概述
最近看了一下小说推文成品软件的思路，发现可以完全迁移到我的 BookerAutoVideo 上面来。这篇短文里面，我试着分析一下整个推文视频生成的流程，以及简要阐述一下有什么工具。
2023-09-08 13:26:47
1334
原创 ChatGLM2 源码解析：`ChatGLMForConditionalGeneration.forward`
【代码】ChatGLM2 源码解析：`ChatGLMForConditionalGeneration.forward`
2023-09-04 18:23:00
400
原创 iBooker 技术评论 20230902
这些人和外包公司签的是劳务合同，跟驻场公司签的是外包合同。外包公司如果是一群骗薪者控制的话，完全可以把一个人包到不同驻场公司，对于销售类这种不坐班的职位，那将是绝杀。到时候高年级分方向的时候，使劲选这个方向的课就行了。计算机和嵌入式不是一个范畴的，嵌入式是计算机的一个求职方向或者细分领域。嵌入式和Java显然共享一部分计算机知识，你应该问“Java程序员如何转嵌入式”，而不是什么“计算机转嵌入式”。嵌入式也类似，特别是最近IOT大火，很多岗位都包装成IOT了，没有公司会在JD上写嵌入式，差不多是这样。
2023-09-02 20:50:37
764
原创 【Python 自动化】自媒体剪辑第一版·思路简述与技术方案
大家都知道我主业是个运维开发（或者算法工程师），每天时间不多，但我又想做自媒体。然后呢，我就想了个方案，每天起来之后写个短视频的脚本，包含一系列图片和文字，然后上班的时候给它提交到流水线上跑，下班之前就能拿到视频，然后往各大平台上一传，是不是挺美滋滋的。我和我之前的合伙人一说，他就觉得做短视频没啥用，不过还是按我说的做，出了一个脚本，我一看什么玩意儿，根本就没办法跑起来。无奈之下，我重新写了现在我要展示的这个版本。后来这个合伙人就装逼失败跑路了，大快人心。
2023-09-02 02:05:34
1037
原创 iBooker 技术评论 20230831
现在做项目和应用，还是这样，便于分别指定战略，各个击破。（1）同一时期，社会对各个专业技能的需求是不一样的，不同时期，对同一专业技能的需求是不一样的。轻资产项目不需要投资，但也不是所有人都做得了，取决于个人认知和能力水平限制。（3）人应该先解决低层次需求（比如衣食住行），再解决其它的。（2）市场经济环境下，某个专业技能需求越大，就越容易赚钱。第二类：看到标题就知道怎么做，但需要花时间准备工具。第一类：看到标题就知道怎么做，并且可以立即上手做。就好比以前的各科题目，你也不是都能做吧？
2023-08-31 13:28:05
216
原创 AMD 锐龙 8000系 APU 将补完其产品线，推出 12C24T16CU 和 16C32T40CU
在已有 APU 最高规格 8C16T12CU 的基础上，AMD 启动了代号为 STRIX 和 STRIX HALO 的研发计划，预计推出两款APU，规格为12C24T16CU 和 16C32T40CU。究其原因，AMD 的 APU 是移动端优先的战略，移动端的功耗限制只允许 APU 堆到八核。移动端优先的战略并没有什么不对，帮助 AMD 发挥其自身优势抢占了大量市场，但是长期下去，APU的真正威力是被压制的，用户就会低估 APU 的上限转而选择其它产品。不过本人认为，游戏机专用是不可能的。
2023-08-30 12:18:27
195
原创 iBooker 轻资产项目点评 20230822
带货的话就带货程序员需要的东西，比如保健品、按摩仪，也可以带货二次元的东西，手办、周边等等。婚恋问题基本，大部分都是没有合适的策略以及认知，现代都商业社会了，还在拿古代的那套道德观束缚自己。可以挑着把妹课程的重点结论或者方法，当然，需要解决这个问题的人没时间看你的文章，可以考虑做成视频。我觉得任何人都适合做这个，没有知识储备没关系，可以从现有的权谋书上摘抄，然后拿GPT润色。现在这个不要做了，因为快饱和了。不过我们可以转向它的反面，就是数字游民的内容，完全击穿用户认知，形成反差来吸引流量。
2023-08-29 11:05:19
152
原创 ChatGPT 对教育的影响，AI 如何颠覆传统教育
从来没有发生过的东西，我们可能能在0到1的时候，更好地利用AI，提供更多的资讯，之类的，所以我们应该为孩子准备，学习如何创造新的创新，利用AI帮助我们，那种东西，创造是一件，很难教育的事情，有些人认为。然后在那课堂之后，我会跟你们进行短暂的讨论，告诉我你怎麽用，你感觉怎麽样，我觉得那些科技进步，你不能忽视它，或者避免它，它在发生，就像水一样，你不能阻止它，你必须去面对它，对我来说，我想了解聊GPT。
2023-08-28 17:52:29
1651
1
原创 复旦赵斌：ChatGPT将颠覆我们的学术和教育，你准备好了吗？
来对学生的学习情况进行考核，那么恰恰GPT将倒逼教师，他们所出的测试题，更着重学生的批判性思维，独立思考的能力，而不再是那种类似问答题的方式，让学生回答现存的问题，这显然对教学改革提出了一种新的思路。这样的表态是合乎情理的，任何人工智能工具都不会被接受为，研究论文的署名作者，这是因为任何作者身份的归属，都伴随着对作品的责任，而人工智能工具无法承担这样的责任，那么应该怎么办呢，自然杂志的主编说。
2023-08-28 17:42:41
161
原创 Python 密码破解指南：20~24
协议：CC BY-NC-SA 4.0译者：飞龙本文来自【OpenDocCN 饱和式翻译计划】，采用译后编辑（MTPE）流程来尽可能提升效率。收割 SB 的人会被 SB 们封神，试图唤醒 SB 的人是 SB 眼中的 SB。——SB 第三定律二十、破解维吉尼亚密码原文：https://inventwithpython.com/cracking/chapter20.html“隐私权是一项与生俱来的人权，是维护人类尊严和尊重的必要条件。”——布鲁斯·施奈尔，密码学家，2006 年有两种方法
2023-08-24 18:40:31
778
原创 Python 密码破解指南：15~19
这一章相当短，因为它没有介绍任何新的黑客技术。正如你所看到的，只要可能的密钥的数量只有几千个，那么用不了多久，计算机就会对每一个可能的密钥进行暴力破解，并使用函数来搜索正确的密钥。您学习了指数运算符（**），它将一个数提升到另一个数的幂。您还学习了如何使用continue语句将程序执行发送回循环的开始，而不是等到执行到达块的末尾。方便的是，我们已经在和中为仿射密码黑客编写了很多代码。函数技巧帮助我们在程序中重用代码。在第 16 章中，你将学习简单的替换密码，这是计算机无法暴力破解的。
2023-08-24 18:39:53
291
原创 Python 密码破解指南：10~14
恭喜你！除了open()read()write()和close()函数之外，程序没什么特别的，这些函数让我们可以加密硬盘上的大型文本文件。您学习了如何使用函数来检查文件是否已经存在。如您所见，我们可以通过导入新程序中使用的函数来扩展程序的函数。这大大提高了我们使用计算机加密信息的能力。您还学习了一些有用的字符串方法，使程序在接受用户输入时更加灵活，以及如何使用time模块来测量程序运行的速度。与凯撒密码程序不同，换位文件密码有太多可能的密钥，无法简单地使用暴力进行攻击。
2023-08-24 18:39:22
2082
原创 Python 密码破解指南：5~9
您已经学习了几个编程概念，并通读了相当多的章节，现在您有了一个实现秘密密码的程序。更重要的是，您了解这些代码是如何工作的。模块是包含有用函数的 Python 程序。要使用这些函数，您必须首先使用一个import语句导入它们。。常量变量按照约定用大写字母书写。这些变量并不意味着它们的值被改变（尽管没有什么能阻止程序员编写这样做的代码）。常量很有帮助，因为它们为程序中的特定值提供了一个“名称”。方法是附加到特定数据类型的值的函数。find()
2023-08-24 18:38:42
977
原创 Python 密码破解指南：0~4
我是无意中听到的，可能是因为我在偷听。——匿名如果你可以带着这本书回到 20 世纪 90 年代初，把第 23 章实现 RSA 密码的内容出口到美国以外是非法的。因为用 RSA 加密的信息不可能被破解，像 RSA 这样的加密软件的出口被认为是国家安全问题，需要国务院的批准。事实上，强密码术与坦克、导弹和火焰喷射器处于同一管控水平。1990 年，加州大学伯克利分校的学生丹尼尔·j·伯恩斯坦（Daniel J. Bernstein）想发表一篇学术论文，介绍他的 Snuffle 加密系统的源代码。
2023-08-24 18:37:39
207
原创 职场人什么时候要打破公司规则
秉性，就是你秉性就是很怯懦，不敢拒绝，不敢得罪，不敢说No，那你不敢，那你就不敢争取，不敢抢，你会很稳定，你就慢慢适应著这种稳定的，庸俗的，平凡的状态。在职业生涯的早期，你必须学习公司规则，并通过它们进行工作，但最终你要能够调整，甚至改变这些规则，并且知道什么时候可以调整，并且改变它们。真正的商业是玩弄人性，驾驭人性，而不是有个框架，把自己框起来了，你自己上套了。太善良的人，不懂游戏规则的同学，你不懂打破规矩，你不懂游戏规矩，你不懂自己定规矩，所以你被人控制，这不很正常吗。
2023-08-23 02:33:12
75
原创 Albert 源码解析：分组复用
假设我们把这个参数开放出来，叫做 GR（分组副本），那么并让 LC = GS * GR * GC，一切就合理了。我们完全可以将重复的层看作新的一层，只不过参数是和其他层共享的。在正向传播期间，程序遍历每一层，根据层序号得到分组序号，然后调用整个分组，也就是把隐藏向量传入层里面所有的组（[2]）。关于复用来看，有三个关键参数，第一个是每个组的容量，也就是 GS，第二个是一共有多少组，也就是GC，第三个是每个组复用多少次，实际上等于。也就是层数是 12 没错，组数是 3 没错，但是每个组被复用了 4 次。
2023-08-21 18:25:14
165
原创 iBooker 技术评论 20230820：为什么我特别反感游戏佬
我给你算算，Chrome 占10个G，腾讯会议和向日葵占10个G，然后Docker上的镜像再占10个G，IDE再占几个G，32G就差不多满了。游戏佬对显卡需求是稳定，所以天然排斥矿卡，而我对显卡要求是显存大算力大，并且有很强的动手能力，所以并不排斥矿卡。而我作为数字产品的生产者，需要极高的数据安全，毕竟我没有发布的作品就是我手里独一份，丢了就没有了。这就导致了即使我打游戏，需求也和游戏佬是不同的。综上，游戏佬的需求和我是完全不同的，如果硬件市场像他们的需求那样发展，几年之后我将没有硬件可用。
2023-08-20 14:24:12
102
原创 赏味不足：详细来聊下轻资产运作，我从不做重资产
我是一只鸡，对吧，那怎么办呢，我跟你讲，我昨天在平安，然后晚上回来又聊了两个小时，然后我感觉我喉咙有点哑，是这样子的，第一就是最近聊的时候，很多小伙伴说要直接到我这边工作，我做不了，我也不招人，对吧。因为你不用付钱，你说你能得到什么样的一些内容，对吧，这是第一点，第二点是付钱的，我觉得你也要看，对吧，你比如说有很多人来问我，他说你现在怎么收，对吧，我说我一个小时500块钱，你要觉得多，你就别找我。
2023-08-19 19:23:20
156
原创 老隋：什么赚钱就做什么，记住轻资产运营，试错成本低
21年我们开始做蓝海项目，做到2000万，就去年这种情况下，我们还做了5000万，说实话，你说我哪儿动什么视频单货，夸你脸上，但是这么几年，我就干了一件事，让我赚了这么多钱，就是听说什么赚钱。我们当时也不懂，当我看到赚钱了，我就直接抄，你是不是也在找赚钱的机会，但是很多人都跟你讲，找风口行业，我跟大家说，别管这么多，什么赚钱干什么，20年我们做多少频，一年将近做了1000万。大家还想听我们在做什么，就直接进我粉丝群。来源：BV1XM4y1275N。
2023-08-19 19:17:14
356
原创 iBooker 技术评论 20230819：打工是风险最高的事情
但是俗话说一回生二回熟，一旦你成功运营了一家公司，甚至都不需要让它成功上市，你就能如法炮制运营起来第二个，第三个，甚至第一百个，就跟你打开IDE配置项目结构似的。轻资产并不意味是你什么都不需要付出，只是我可以这么说，轻资产创业的投入规模和方式，和你打工一模一样，比如你做运营都需要文案、都需要刷量；只是你的策略不一样，比如以前你给公司的品牌服务，现在你给个人品牌服务，仅此而已。等你积累了一定经验之后，你就随便怎么折腾都垮不了，垮了也没啥大不了的，拉里佩奇教导我们，薪资火传嘛，再开一个就是了。
2023-08-19 19:03:37
101
精通 TensorFlow 2.x 计算机视觉（初译）
2022-06-21
树莓派计算机视觉编程（初译）
2022-06-21
使用计算机视觉实战项目精通 OpenCV（初译）
2022-06-21
精通 Python OpenCV4（初译）
2022-06-21
Qt5 和 OpenCV4 计算机视觉项目（初译）
2022-06-21
Python3 OpenCV4 计算机视觉学习手册（初译）
2022-06-21
Python 机器人学习手册（初译）
2022-06-21
Python OpenCV3 计算机视觉秘籍（初译）
2022-06-21
Python OpenCV 蓝图（初译）
2022-06-21
Python OpenCV 计算机视觉项目（初译）
2022-06-21
Python OpenCV 计算机视觉（初译）
2022-06-21
Python OpenCV 3.x 示例（初译）
2022-06-21
OpenCV3 和 Qt5 计算机视觉（初译）
2022-06-21
OpenCV3 安卓应用编程（初译）
2022-06-21
OpenCV2 计算机视觉应用编程秘籍（初译）
2022-06-21
OpenCV 图像处理学习手册（初译）
2022-06-21
OpenCV 即时入门（初译）
2022-06-21
OpenCV 安卓编程示例（初译）
2022-06-21
精通 Java 11（初译）
2022-06-21
Java 项目大全（初译）
2022-06-21
Java 设计模式最佳实践（初译）
2022-06-21
Java 编程问题（初译）
2022-06-21
Java 12 编程学习手册（初译）
2022-06-21
Zetcode 中文系列教程【ApacheCN 翻译】
2021-09-30
ApacheCN Python 中文文档集
2021-09-30
Progmiz 中文系列教程【ApacheCN 翻译】
2021-09-30
HowToDoInJava 中文教程【ApacheCN 翻译】
2021-09-30
ApacheCN 数据科学人工智能中文文档集
2021-09-30
大数据中文文档集【ApacheCN 翻译】
2021-09-30
BeginnersBook 中文系列教程【ApacheCN 翻译】
2021-09-30
公司的自建邮件服务器投不进 163，显示“451 DT:SPM”
2020-02-19
imagemagick 从 png 转换的 pdf 太大了
2020-02-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人