- 博客(486)
- 资源 (127)
- 收藏
- 关注
RSS订阅
原创 2020年总结与展望
简介今天是2021年的1月17日，周日，由于和同事约好周六周日分开上班，因此今天并没有去单位加班。昨晚上原本打算今天是要做如下的事情的： 做早饭 做午饭 阅读戒药笔记 阅读财务自由之路 三组臀桥 图书馆坐坐 使用maven下载spring boot2.1.4 继续进行2020年总结与展望的编写 刷鞋子结果由于昨晚和同学聚会去海底捞，吃了很多的肉，回到家里也比较晚，23:00到家，睡的时候估计24:00了，夜里还起了两次夜，睡得不好，早晨8:00多醒过来，玩手机玩了40分钟。之后打
2021-01-17 22:33:47
1067
12
原创 2019年总结和展望
属性信息文档名称2019年总结和展望版本号V1.0.0.0文档修改日志修改时间修改人修改描述版本号2020-01-07 22:21宋全恒2019年总结和展望，确定基本结构，填充简介部分V0.0.0.02020-01-09 20:43宋全恒添加阅读旅程V0.0.1.02020-01-10 20:45宋全恒添加周...
2020-01-12 23:06:29
2624
7
原创 Maven常用命令
下载sources和javadocmvn dependency:sources -DdownloadSources=true -DdownloadJavadocs=true
2019-06-07 17:39:27
322
原创 07-04 周四 关于vLLM(LLMs_inference)源码安装过程问题与解决
由于最近需要向vLLM上集成功能，因此，需要能够调试自己的仓库LLMs_Inference，该文档记录了源码编译的完整的过程。正常简单执行下述的代码，即可完成源码的编译安装cd vllm但实际上还是比较麻烦的。因为仓库LLMs_Inference是从vllm仓库fork出来的，所以理论上应该是一样的。仓库中有多个依赖环境，这些文件通常用于记录项目的依赖关系，以便在特定环境中进行安装和配置。：一般用于列出项目所需的所有依赖项及其版本要求。通过在该文件中指定所需的库和版本，方便一次性安装所有依赖。
2024-07-10 09:57:43
611
原创 07-02 周二 关于注意力机制和PyTorch API repeat，repeat_interleave、arange索引张量、matmul、unsqueeze、bmm
最近笔者一直在进行大模型量化方法smoothquant的理解，真的很痛苦，工作让自己很有压力，也很焦虑，因为在深度学习，pytorch等内容自己可以说是一片空白。在看《动手学深度学习》试图理解注意力机制的时候，基本上，连Pytorch的API都不知道是什么作用，尴尬。 上述函数就是打印形状和内容。 上述代码完成数据的准备。 上述代码输出为：torch.rand(n_train) 在 PyTorch 中，torch.rand() 函数用于生成一个服从均匀分布的随机张量。n_train 通常是一个整数
2024-07-02 14:59:18
377
原创 05-28 周二 TTFT， ITL， TGS 计算过程以及LLama2推理代码调试过程
本文主要用于求解大模型推理过程中的几个指标：主要是TTFT，ITL， TGS之前一直觉得大模型很神秘，其实大模型推理的驱动的主要逻辑还是使用的程序流程主要还是for循环，分支语句以及串行，笔者呢有多年的开发经验，理解起来还是比较简单的，但是大模型的结构，transformer的工作原理，这些确实是看了很多次都没有看懂的，压力很大。能够每天有所进步或许是最开心的事情吧，日日知非，日日有进步，我希望余生都可以这样。
2024-05-29 20:37:34
1292
1
原创 05-16 周四 vscode 搭建远程Python调试环境
参考了vscode上python进行debug大全 - 知乎。这个笔记记录了使用vscode调试远端服务器配置的过程，好记性不如烂笔头，还是多记录一些内容吧，我发现，当你遇到一个问题的时候，很有可能，你会重新遇到的。通过不断记忆，我们能够很好的建立联系这样就能比较自信的解决同样的问题。还能节省许多的实践。
2024-05-16 17:25:03
448
原创 05-14 周二 PyTorch动态量化和静态量化理解
Pytorch动态量化量化网络意味着将其转换为使用降低精度的整数表示来表示权重和/或激活。从浮点数转换为整数时，基本上是将浮点数乘以某个比例系数，然后将结果四舍五入为整数。确定scale factor是各种量化方法的差异点。动态量化的关键思想是，对于激活来说，我们将会根据运行时观察到的数据范围来确定scale factor。这样可以确保 "调整 "比例因子，从而尽可能多地保留每个观测数据集的信号，而模型参数在模型转化过程中是已知的，他们提前转化并存储成INT8形式。
2024-05-14 16:30:18
1042
原创 05-13 周一 量化是什么
神经网络在运行时有较高的计算成本，而且随着大模型时代的到来，知识由一个巨大的LLM存储，为了获取知识，即使用模型进行推理或者以会话的方式获取想要搜索的答案，都变得简单。但深入到计算层面，就可以看到，这些推理的计算对于内存带宽和算力都有较高的要求，如何降低神经网络的功劳和latency，是一个非常热门的话题。量化概念量化： 量化实际上就是把高位宽表示的权值和激活值用更低位宽来表示。定点运算指令比浮点运算指令在单位时间内能处理更多数据，同时，量化后的模型可以减少存储空间。
2024-05-14 16:25:46
973
原创 05-10 周五 推理是什么
最近要做推理时的动态量化，因此，需要认真理解一下推理的含义。概念：训练（Training）**训练是指通过将大量数据输入到模型中，调整模型参数，从而使得模型能够更好地适应特定任务的过程。**在训练过程中，通常需要将数据划分为训练集和验证集，然后使用训练集来调整模型参数，最后使用验证集来评估模型的性能。概念:推理(Inference)是指将经过训练的模型应用于新数据或新情境，以做出预测或决策。在推理过程中，通常需要将输入数据传递给模型，并生成相应的输出结果。
2024-05-13 11:19:22
920
原创 05-11 周六 一键完成FastBuild镜像部署功能的开发
注，需要提前完成从DockerService到FastBuild主机的免密，因为脚本使用了ssh命令。博客描述04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)-CSDN博客👍👍👍👍记录了部署FastBuild的完整过程，基本流程,该文章主要描述自动化，即使用CI工具构建镜像，并部署服务部分。04-25 周四 FastBuild重构实践-TLS、全局捕获异常、一键配置-CSDN博客记录了第一次优化的过程，完成配置文件移入数据库。
2024-05-11 23:54:48
864
原创 05-10 周五 FastBuild 容器启动引起超时问题定位与解决
博客描述04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)-CSDN博客记录了部署FastBuild的完整过程，基本流程04-25 周四 FastBuild重构实践-TLS、全局捕获异常、一键配置-CSDN博客记录了第一次优化的过程，完成配置文件移入数据库05-08 周三 FastBuild FastAPI 引入并发支持和全局捕获异常-CSDN博客记录了并发支持和全局捕获异常。解决拉取和check解耦问题以及超时问题。
2024-05-11 22:41:48
914
1
原创 05-09 周四 vLLM的部署和实践
GitHub项目官方网站上解释了Fast、和flexible and easy to use的原因。参考链接网页描述大模型推理加速工具：vLLM描述了安装，离线推理和在线服务的简单演示比HuggingFace快24倍！伯克利LLM推理系统开源碾压SOTA，GPU砍半描述了优点，并且有很多的图。【LLM】vLLM部署与int8量化-CSDN博客。
2024-05-09 19:51:16
1130
原创 05-08 周三 FastBuild FastAPI 引入并发支持和全局捕获异常
由于FastBuild之前花费了大概5天的时间优化，但最近重新部署，又发现了一些问题，就很痛苦，五一之后，自己又花了三天的时间系统的进行了优化。上一波优化位于05-07 周二 Python使用并行程序取代串行加速运行，样例程序演示而这一波优化，则主要集中在Python的并发执行和全局捕获异常自己可真的是蔡格尼克效应的实在的表现。简直是有一件事情之后，自己一定要把它做完，才能放下他，不被它占据自己的注意力。
2024-05-08 21:45:31
974
原创 05-07 周二 Python使用并行程序取代串行加速运行，样例程序演示
【代码】05-07 周二 Python使用并行程序取代串行加速运行，样例程序演示。
2024-05-07 22:53:11
330
原创 04-19 周五 GitHub actions-runner 程序解释
本文主要描述了actions-runner-linux-x64-2.315.0.tar.gz这个github actions CI所需要的客户端安装包的重要文件和内容信息。04-15 周一 GitHub仓库CI服务器配置过程与workflow配置文件解析文档.md04-18 周四 为LLM_inference项目配置GitHub CI过程记录.md04-19 周四 GitHub CI 方案设计和部署拓扑.md。
2024-05-06 20:48:15
661
1
原创 04-19 周四 GitHub CI 方案设计
由于大模型需要GPU，因此CI时需要使用GPU来运行，由于一台服务器有多个GPU卡，因此，保证灵活性的同时，需要为每个仓库的CI程序自定义需要的GPU。部署简单，能够实现一台服务器，如8C A100的，同时对4个仓库进行CI作业的运行，而不互相影响。04-15 周一 GitHub仓库CI服务器配置过程与workflow配置文件解析文档.md04-18 周四 为LLM_inference项目配置GitHub CI过程记录.md42CI服务器的详情团队代码仓库的标签划分部署拓扑结构。
2024-05-06 19:56:41
1057
原创 04-18 周四 为LLM_inference项目配置GitHub CI过程记录
04-15 周一 GitHub仓库CI服务器配置过程文档是托管与GitHub上的仓库，下载最新的客户端程序即可。self hosted runner是github支持的ci特性，可以参见官网，了解具体内容。是GitHub CI的工作流需要使用的步骤的仓库，Find tools to improve your workflow配置CI服务器中actions-runner客户端配置workflow工作流。
2024-05-06 19:45:02
966
原创 04-25 周四 FastBuild重构实践-TLS、全局捕获异常、一键配置
由于04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)描述了重新部署一个FastBuild实例的过程，通过阅读这个，可以看到部署一个FastBuild的实例是非常复杂的，之前的两次部署，直接让我花费了将近10个小时，太痛苦了。因此优化就成了必须要进行的，因为我也是一个有完美主义倾向的程序猿。
2024-05-06 17:20:57
753
原创 04-28 周日 FastAPI Post请求同时传递文件和普通参数
由于在重构FastBuild的时候，为了支持TLS是否启用，在接口中需要同时传递文件参数和其他参数，遇到了这个问题。结果发现由于HTTP的限制，不能同时传递JSON和文件参数。当时花费了较多的实践，因此记录了如下的过程。
2024-05-06 14:27:30
1096
原创 05-06 周一 使用expect自动应答完成用户密码验证以及多种退出码的实践
演示了如下的内容：- 从位置参数中读取并设置到脚本变量- spawn 开启会话- expect子句- 多个退出方式。
2024-05-06 11:25:12
149
原创 05-06 周一 Shell工程目录划分和开发最佳实践
本文演示了在开发shell工程时的一些最佳实践，包括相对路径，配置文件处理和shell调用的过程。在shell调用的时候，使用了expect自动应答免交互的形式
2024-05-06 11:11:15
888
原创 04-22 周日 阿里云-瑶光上部署FastBuild过程(配置TLS、自定义辅助命令)
本文主要描述了FastBuild在阿里云ECS上部署的完整过程，包括提供新的代码分支，配置，包括了TLS配置、而且包括了Jenkins部署，自定义辅助命令的过程
2024-05-06 10:18:24
872
原创 04-15 周一 GitHub仓库CI服务器actions-runner和workflow yaml配置文档解析
地址镜像介绍大模型应用ID=ubuntu建议定要使用和宿主机相同的自定义镜像来运行CI作业，不然可能会出现诸如GLIBC问题，即如果宿主机为Ubuntu 20.04，那么自定义镜像最好也是Ubuntu，并且版本是20.04这样稀奇古怪的问题遇到的会少许多。本文详细的记录了为一个GitHub配置一个self-hosted runner的过程，通过上述的过程，我们可以灵活的为仓库配置自定义的运行器，并且也可以使用自定义的容器进行仓库CI作业的执行，提升作业环境的封装性。
2024-04-17 10:40:26
1135
原创 04-12 周五基于VS code + Python实现CSDN发布文章的自动生成
之前曾经说过，在撰写文章之后，需要，同样需要将外链的图像转换为的形式，因此，可以参考。
2024-04-12 22:51:27
430
原创 04-12 周五 基于VS Code + Python 实现单词的自动提取
在之前的文章中，我们03-11 周一 zotero文献阅读时生词提取步骤这个文章中，我们详细的介绍了我们通过如下的流程将阅读文献时的生词摘录出来，专门进行专项日常生词积累。那么该如何进行呢？我们怎么才能将枯燥的切换转换为程序的执行呢？这便是这个文章要记录的内容管理。最近状态还好吧，人还是要自律，最近自己对自己的手机使用屏幕时间限制，限制之后，再也不用担心因为手机放纵，看电子书，或者看短视频了，每天清净心不少。
2024-04-12 22:31:56
331
2
原创 10-24 周二 论文阅读 Containerisation for High Performance Computing Systems: Survey and Prospects
继续看文章了。容器在隔离的环境中封装了复杂的程序和它们的依赖，这使得应用更加的兼容和更可移植。HPC上的容器需要包含大量的库，导致尺寸较大。这些库针对硬件进行优化，这危害了容器的可移植性。与HPC相比，Cloud实际上通常整合复杂的容器编排机制。但在HPC上启用容器编排机制的方法已经提出了。本文给出综述和分类，关于HPC系统上的容器化和编排策略。强调Cloud和HPC的差异。其实这篇文章是自己从23年10月20日开始看的，结果啊，到了今天才完成了阅读，真的是非常惭愧。
2024-04-12 15:33:43
452
原创 04-03 周三 使用印象笔记API批量更新笔记标题
在阅读这篇博客之前，首先给大家案例一下印象笔记这个应用，楼主之前使用onenote来记录自己的生活的，也记录了许多的内容，但是，有一天自己的同事和自己说了印象笔记这个工具，然后在使用了之后，就发现确实是不错的，包括模板功能啊，大纲，XMind支持，以及剪藏功能，而且在多个终端可以非常方便的同步，而且每个笔记有300M的空间（超级用户），最新的印象笔记也上线了视图功能，让自己非常的方便。这样让自己的复盘非常的便利，因为自己已经基本养成了周盘、月盘、年盘的习惯了。
2024-04-03 11:16:53
939
原创 03-28 周四 Linux 并行工具使用xargs和parallel
程序猿日常工作开发中，免不了要和linux服务器打交道的，如何高效的使用shell命令来实现我们的功能呢，比如说如下的场景： 诸如此类的场景，如果手动，一个一个ssh-scp，太枯燥了。因此，我们便需要高效的并行工具，启动多进程的方式来实现我们的目标。在Linux中，并发查询多个目录的磁盘占用可以通过多种方法实现。以下是一些可以提高效率的策略：使用与参数并行执行：命令可以将标准输入数据转换为命令行参数，并执行指定的命令。结合参数，可以指定并行进程的数量。在这个例子中，命令用于查找所有目录，和确保了文件
2024-03-28 10:08:20
1140
原创 03-11 周一 使用Zotero阅读文献时提取单词到不背单词App步骤
在Zotero中阅读文献的时候，对生词进行着色，楼主选择了红色，短语选择的颜色为蓝色。导出这些生成，然后转换成逐行的格式。将生词导入到不背单词App，进行艾宾浩斯的记忆，专项提高。最近自己也是疯狂的在积累单词，自己上周日刚看完了一本东野圭吾的白夜行，整理了人物关系图。
2024-03-27 09:35:36
847
原创 03-11 周一 单词提取步骤
最近自己也是疯狂的在积累单词，自己上周日刚看完了一本东野圭吾的白夜行，整理了[人物关系图](https://download.csdn.net/download/lk142500/88947833)。在阅读paper的时候，就意识到了结构structure的重要性，所以笔者决定再次进行金字塔原理的阅读，而且我再阅读的时候，还能感受到当时我阅读Martin Fowler的《重构 改善既有代码的设计》所带给我的感动，我感觉这本书也是一个这样的书，书里面包含了深刻的洞见，等我看完再分享分享。提出（理论或解释）；
2024-03-25 17:33:55
443
原创 03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model Size for Effcient Trainning and Inference
由于硬件资源有限，训练深度学习模型的目标通常是在训练和推理的时间和内存约束下最大限度地提高准确性。我们研究了在这种情况下模型大小的影响，重点研究了受计算限制的NLP任务的Transformer模型：自监督预训练和高资源机器翻译。我们首先表明，尽管较小的Transformer模型每次迭代执行得更快，但更宽、更深的模型收敛的步骤要少得多。此外，这种收敛的加速通常超过了使用更大模型的额外计算开销。因此，计算效率最高的训练策略是违反直觉地训练非常大的模型，但在少量迭代后停止。
2024-03-25 16:50:51
1012
1
原创 03-11 周一 zotero文献阅读时生词提取步骤
在Zotero中阅读文献的时候，对生词进行着色，楼主选择了红色，短语选择的颜色为蓝色。导出这些生成，然后转换成逐行的格式。将生词导入到不背单词App，进行艾宾浩斯的记忆，专项提高。最近自己也是疯狂的在积累单词，自己上周日刚看完了一本东野圭吾的白夜行，整理了人物关系图。
2024-03-12 10:46:41
595
2
原创 12-07 周四 Pytorch 使用Visdom 进行可视化
在完成了龙良曲的Pytroch视频课程之后，楼主对于pytroch有了进一步的理解，比如，比之前更加深刻的了解了BP神经网络的反向传播算法，梯度、损失、优化器这些名词更加熟悉。这个博客简要介绍一下在使用Pytorch进行数据可视化的一些内容。
2023-12-07 14:34:08
389
原创 11-16 周四 简单代码理解FlashAttention 分块计算softmax
上述的代码过程主要是将张量分成了两块进行计算，最后可以看到采用逐步累加的方式得到的结果与逐步运算是相同的。
2023-11-16 15:56:28
462
原创 11-15 周三 softmax 回归学习
softmax分享可以参考什么是softmax回归估计一个连续值，分类预测一个离散类别。恶意软件的判断回归和分类分类可以认为从回归的单输出变成多输出softmax基本上是在多分类问题中，将输出概率化的操作子。在神经网络中，作为最后一层进行的。其中交叉熵的理解反而不太好。上述为在TF中使用交叉熵来获取准确率的样例代码，可以看到correct_prediction为一组向量[True, False, False, …]强制转化为tf.float32之后求平均，就相当于求出了准确率。
2023-11-15 15:26:43
606
原创 11-13 周一 同济子豪兄CNN卷积神经网络学习记录
为了深入理解CNN，进行B站 同济子豪兄深度学习之卷积神经网络的学习.最近一直想要弄清楚这个CNN的工作，并且要能够使用CNN完成自己的神经网络，至少在计算视觉领域能够分析，以及典型的计算机视觉，NLP，语音处理相关的工作。CNN都是一个相对来说比较有用的工作。所以深度学习框架，Tensorflow或者Pytorch都是非常重要的。自己在这方面的积累真的太少了。要尽快的学习，加速自己对于机器学习的沉淀，投入时间，换取成长。
2023-11-13 19:13:52
998
论文阅读 Containerisation for High Performance Computing Systems
2024-04-12
03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model S
2024-03-25
Postman自动化测试.zip
2021-04-24
多线程多线程.zip
2020-11-07
多线程多线程.xmind
2020-11-07
word多级目录设置.zip
2020-07-11
优秀格式文档规范.docx
2020-07-11
克鲁斯卡尔算法.zip
2020-07-04
数据结构之普利姆算法思想和实践
2020-06-26
数据结构之图的表示、深度优先和广度优先遍历.zip
2020-06-21
Ubuntu使用active-backup模式进行网口绑定.zip
2020-05-24
XShell使用快捷命令快速运维系统状态.zip
2020-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人