- 博客(36)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 CUDA流与异步
基于流的异步的内核启动和数据传输支持以下类型的粗粒度并发：1.重叠主机计算和设备计算；2.重叠主机计算和主机与设备间的数据传输；3.重叠主机与设备间的数据传输和设备计算；4.并发设备计算。理解一个CUDA程序，应该从设备和主机两个角度来考虑。从设备的角度来看，操作都被发布到默认的流中，并且按发布顺序取执行。设备不知道其他被执行的主机操作。从主机的角度来看，每个数据传输都是同步的，在等待它们完成时，将强制空闲主机时间。内核启动是异步的，所以无论内核是否完成，主机的应用程序几乎都立即恢复执行。
2024-04-23 21:09:03
205
原创 Transformer模型分布式并行通信量浅析
Oh2∗l每台机器做完自己的梯度后需要做一次All reduce操作来累积梯度，故一个batch计算发送的数据量为每层梯度大小h2乘以层数l。
2024-03-03 19:40:58
1083
原创 大模型(LLM)推理加速之KV Cache技术
在学习Key-Value Cache(kv cache)，读者需要熟悉Transformer架构，最好能够懂得。本文不会再对Transformer架构做赘述。
2024-01-22 18:29:35
1975
原创 切换服务器上自己用户目录下的 conda 环境和一个外部的 Conda 环境
如果我们有自己的 Miniconda 安装和一个外部的 Conda 环境（比如一个全局安装的 Anaconda），我们可以通过修改 shell 环境来切换使用它们。
2023-11-24 20:33:22
1370
原创 如何处理git多分支
这将创建一个名为 experimental 的新分支在你的 GitHub 仓库中，并将你的本地更改推送到这个远程分支。-u 参数表示将本地分支与远程分支关联起来，以便于今后的推送和拉取操作。接下来你就可以灵活地在本地进行分支的切换了（checkout），他们分别和远程上对应名字的分支对应。同样的，你可以灵活地在本地进行分支的切换了（checkout），他们分别和远程上对应名字的分支对应。（1） 首先可以确定一下当前本地的分支和远程的分支。的分支并切换到新分支上：（如果分支已经存在，则不加。
2023-11-24 20:15:12
1050
原创 混合精度训练原理之float16和float32数据之间的互相转换
,它是一个不能在有限精度内存储的数据，根据上述float32的存储空间表示，我们知道它只能保存23位有效数字（不包含首位的1），截取后，他在计算机中的表示为【】（1），括号里面表示第11位有效位数值，用于进位，根据二进制加法，我们综合符号位和指数为，得到最后结果为：【】，由于他们的指数部分不相同，我们需要将指数较小的数据的小数点向左移，以保证他们的指数部分对齐，【】（所以在存取数字时是有损失的），舍入为float16时，计算的存储表示为【】后，小数点需要向左移4位，在左边补0，移位之后的结果为【
2023-10-25 19:43:32
1673
原创 深度学习知识总结2：主要涉及深度学习基础知识、卷积神经网络和循环神经网络
往期链接：Summer 1 : Summarize linear neural networks and multi-layer perceptron对于高维感知数据，例如图像本身就拥有丰富的结构可以被机器模型使用，所以MLP这种缺少结构的网络需要大量参数就会变得不实用，CNN则是可以利用自然图像中的一些已知结构的创造性方法。填充和步幅会影响卷积输出形状。在一段时期内，机器学习都需要手工对特征数据集进行预处理，更大或更干净的数据集、或是稍微改进的特征提取，比任何学习算法带来的进步要大得多通过使用循环和子程序
2023-08-21 21:52:53
758
原创 CLIP论文精度
CLIP出来前，先进的视觉系统训练都需要一个提前定义好的标签集合，但采用这样有限制性的监督学习很可能会模型的泛化性。所以CLIP从NLP中得到监督信息，因为本文描述的监督信号非常广。CLIP使用4亿个文本-图像训练集去进行了大模型的训练。生成的模型可以直接用于下游的Zero-shot推理。OpenAI公开了CLIP的预训练模型和推理代码，但没公开预训练代码。
2023-08-10 17:57:35
281
原创 深度学习知识总结1：主要涉及基础知识、数据与数学基础知识、线性神经网络和多层感知机
如果样本数量较少，可以尝试使用数据增强技术来扩充数据集，或者采用更复杂的模型来提高模型的学习能力。在强化学习中，智能代理通过与环境进行交互，观察环境的状态和反馈，从而学习如何采取行动以最大化累积的奖励。而极大似然估计则代表了假设有一个概率分布的参数向量θ，我们的目标是找到一个θ的估计值，使得给定观测数据的条件下，该估计值能够最大化观测数据出现的概率。对于相同的分类问题，多层感知机的实现与softmax回归的实现相同，只是多层感知机的实现里增加了带有激活函数的隐藏层。通常，我们选择2的若干次幂作为层的宽度。
2023-08-03 23:28:25
314
原创 Apache进程正常，服务无法访问的解决方案
Ubuntu系统云服务器Apache进程正常，服务无法访问（HTTP Error503)的解决方案之一网上很多资料都指向服务器防火墙未关或云服务提供商的安全组设定未放开，大家可以先尝试以上两种问题，如果不是欢迎继续阅读。另外首先请大家执行重启，确保Apache更新你之前的所有配置，同时再测试一遍是否能访问。/etc/init.d/apache2 restart #重启如不能，一个解决方案如下所示：1.问题发现将静态HTML网页利用Apache2中的httpd服务部署到服务器上，并通过”
2022-05-23 23:15:31
2721
1
原创 Xftp7下载与安装
Xftp下载与安装如需Xshell7下载与安装，请参见1.点击链接下载Xftp72.解压3.安装，除了选择路径，其余都下一步4.运行4.1 直接运行4.2 在Xshell中运行
2022-05-23 22:40:11
537
原创 Anaconda中使用Jupyter Notebook
此教程适用于在Windows系统下的Anaconda中首次使用Jupyter，或在创建新环境时新安装Jupyter1.安装Anaconda或创建新环境安装AnacondaWindows系统下安装，其他安装可参考：某乎创建新环境在Anconda Navigator中的操作方式如下：2.安装Jupyter直接Install即可3.初始配置3.1 修复浏览器启动弹窗打开当前环境下的Anaconda Prompt，修改此环境下Jupyter的config文件jupyter note.
2022-05-07 17:36:45
11557
原创 同行评审流程与撰写审稿意见要点
Peer Review Paper Writing论文评审书写审稿意见通常包括：1. 主要意见：接受、小修、大修、拒稿等。2. 概述与整体观察用一小段话总结文章。这显示了您已经阅读并理解了该研究的目的及思路。给出对文章的主要印象，包括创新点。理想情况下，在评论时，使用简短，明确定义的段落，并使编辑和作者很容易看到您引用的部分。给出关于标题、摘要等的具体意见和建议：标题是否准确反映了内容？摘要是否完整且独立？ 还有图形摘要和突出显示。方法的审查与结论的审查。包括是否有理论支持和数据支持
2022-04-20 21:36:03
1009
原创 2021.11.27—2021.12.3 学习与工作进展总结
Prepartition算法研读与算例实现目录Prepartition算法研读与算例实现0.参考文献：1.核心概念与问题理解2.算例解释与核心算法模块实现2.1.预分割模块之capacity_ makespan的长度P0/kP_0/kP0/k计算2.2 分割后重新分配算法2.3 反应式（后）迁移再分配算法3.迭代修复和更新FlexFloud（功能持续完善中）4.利用FlexFloud工具与LLNL DATA数据进行论文复现（部分）5.本周所遇到的困难与问题总结6.下周学习和工作计划0.参考文献：[1
2021-12-04 15:49:46
438
原创 高级数据库技术课程——游标练习
目录1.查询SOFTWARE（CS）系的学生的基本信息。对齐打印输出。2.查询某学生的选课信息，打印课程号，成绩。并在最后一行打印（学生姓名）同学的平均分为：平均分。3.查询某学生可以选的课程信息（该生没有选，同时课程也没有选满），打印课程号，课程名，学分，最大选课人数，当前选课人数。并在最后一行打印该生目前获得的学分。4.使用游标实现：将某一门课程成绩高于课程平均分的学生所选的所有课程的姓名，课程名，成绩格式化输出。5.使用游标实现：将每门课程成绩高于课程平均分的学生所选的所有课程的姓名，课程名，成绩格式
2021-11-18 14:44:24
1348
原创 利用pyecharts的wordcloud实现词云（可结合Pandas数据分析和jieba分词）
pyecharts的wordcloud使用1.主文件 WordCut.py# 导入jieba分词，可用于文章分词import jieba# 导入collection模块的Counter方法，对分完词后的词进行频数统计from collections import Counter# 导入wordCloud及配置模块,利用pyecharts绘制词云WordCloud，当然你也也可以安装WordCloud库进行词云绘制from pyecharts import options as optsfro
2021-11-17 00:22:27
2614
原创 No module named ‘jieba‘解决办法
此方法适用于python编译软件出现No module named ‘XXX’ 问题的处理（XXX里面需是相应工具包名，而非自定义模块名）此问题的核心就是找不到对应模块。如果是自定义模块出现这个问题，那么就是模块定义和模块引用对应的名字打错了。目录此方法适用于python编译软件出现No module named 'XXX' 问题的处理（XXX里面需是相应工具包名，而非自定义模块名）1.先确定自己是否有安装相应的工具包2.确定是否使用的默认环境3.重建项目1.先确定自己是否有安装相应的工具
2021-11-16 12:44:11
53143
4
原创 IDEA,Pycharm,phpStorm,webStorm等软件的教育认证方法，免费长期使用
大学生、研究生、教师免费使用JET Brains系列产品(正规免费，非破解）目录大学生、研究生、教师免费使用JET Brains系列产品(正规免费，非破解）1.首先你需要拥有一个jetbranis官网的账号（包括你的校园邮箱账号）2.进行个人教育认证3.关于免费续费问题4.关于使用，以pycharm为例激活失败处理方法1.首先你需要拥有一个jetbranis官网的账号（包括你的校园邮箱账号）注册地址注意它对账户的密码要求很高，要看到密码栏变绿了才代表此密码的安全性是过关的。这里注意，请使用你
2021-11-15 18:08:41
3769
原创 985高校2021年全国理科高考平均最低录取分数线排名
未包含西藏数据（数据较为特殊，异常值过多）平均最低录取线为归一化数据，不是实际数据未包含单列计划等分数线，由于每年分数线与当年该校招生办招生政策有关，故排名仅供参考
2021-10-10 11:06:37
343
原创 西南交通大学计算机与人工智能学院保研面经
西南交大计算机学院夏令营保研面经1. 个人情况2. 西南交大参营情况3. 复试流程3.0 准备工作3.1 综合面试附：自我介绍PPT模板1. 个人情况类目情况学校专业西南某双非，软件工程专业，学科评估位于C大档排名申请时3/161；最后5/161英语水平申请时CET-4：470+；最后CET-6:430+竞赛数学建模省一，蓝桥杯程序设计国三，电赛省三，还有些不太重要的比赛和金融方面的竞赛科研实用新型专利一项（没用），论文无项目两项省创，一项课
2021-10-10 10:51:07
2461
6
原创 北京交通大学软件学院保研面经
北交软件学院夏令营保研面经1. 个人情况2. 参营情况3. 类目重要性分析4. 复试流程4.1 英语面试4.2 专业问题与综合素质更多学校的面经请参考后续专栏文章。1. 个人情况类目情况学校专业西南某双非，软件工程专业，学科评估位于C大档排名申请时3/161；最后5/161英语水平申请时CET-4：470+；最后CET-6:430+竞赛数学建模省一，蓝桥杯程序设计国三，电赛省三，还有些不太重要的比赛和金融方面的竞赛科研实用新型专利一项（没用），论文无
2021-10-06 11:30:10
1626
4
原创 准研究生文献阅读初体验（2021.09——2022.09）
Graduate literature reading nodesContinuously updated…Parctice Github-respository：https://github.com/Cheny1m/GraduateLiteraturePractice
2021-09-29 16:28:04
103
原创 IDEA上传到Github的空仓库的master分支，无法和main合并
1. 问题描述明明从IDEA上传到Github有内容修改，但却无法将分支合并至main主分支（compare & pull request界面如下）2. 根本原因Git的机制，不允许两个没有提交交集，或者没有共同源的两个分支合并。3. 解决办法本地创建项目传到Github上，首先应该先clone/pull一遍空远程仓库(至少含有readme,否则会出现本地无法识别其分支的问题）到本地，然后再push便可以合并分支，这样保证了共同交集，不会出现上述问题。如果不小心已经传了无共同
2021-09-10 19:51:21
1160
转载 python ez_setup.py运行时报错，except pkg_resources.VersionConflict, e:和 print “Setuptools version“,version
python ez_setup.py运行时报错，except pkg_resources.VersionConflict, e:和 print "Setuptools version",version,"or greater has been installed."
2021-08-28 11:26:15
494
原创 Linux下更新python版本并安装Django框架
Centos Linux下更新python版本并安装Django框架目录1.检查Python版本2.更新Python版本3.安装Django1.检查Python版本默认情况下 Linux 环境已经支持了Python。你可以在终端输入python和python3命令来查看是否已经安装上图表示安装的是Python2 ，此时键入exit()或者使用Ctrl+D退出Python编译环境2.更新Python版本根据您项目的需求，考虑是否需要更新Python版本，如不需要可以直接跳转至 3
2021-08-25 16:51:09
524
原创 File “/usr/bin/yum“, line 30 except KeyboardInterrupt, e: ^SyntaxError: invalid syntax错误处理
1.错误原因1. File "/usr/bin/yum", line 30 except KeyboardInterrupt, e: ^SyntaxError: invalid syntax因为yum采用python作为命令解释器，原来系统自带的python解释器为python2，然后有可能之前在配置开发环境时，将python默认的解释器设为了python3，导致按python3解析python2的语法出错了。同理，在使用pip，virtualenv等依赖原版本python的工具也会出现此类问题
2021-08-06 16:57:01
25053
8
原创 Centos误删自带python2.7恢复方法
0.写在前面在下载新版本或者更新python版本时，一定不要删除系统自带的python版本！不然会带来很多麻烦，包括yum、pip等命令不能用的情况，这时需要修改相应py文件头的环境变量，会变得相当麻烦如果你只是更改了系统默认的python软连接，而没有删除自带的python，可参考这篇文章进行处理；如果已经使用rm命令删除了原本的python及其配置文件，可使用下述恢复方法，恢复之后需要重新下载和安装你之前已经配置好的更高级别的python环境1. 删除干净python环境rpm -qa|gr
2021-08-05 17:54:50
5027
11
原创 计算机、软件学硕与专硕的区别
计算机大类下的学硕与专硕选择0.期待解决您的问题硕士研究生的专业代码是什么？专业分类是怎么样的？对我报考有什么影响？各个学校的专业方向代码和名称为什么存在差异？我该怎么看？计算机学硕和专硕到底有什么区别？我该怎么选择？我想硕士毕业后参加公考，读学硕和专硕会有什么影响吗？…1.写在前面2022届软工本科在读，由于有望拿到本校推免资格，于是在21年暑假参加了多个学校的夏令营并正在筹备预推免，具体各个学校的保研面经可参考之后的专栏文章。在选择学校及专业的过程中，遇到了许多问题并咨询了多位老
2021-08-03 16:42:55
7938
原创 机器学习常用库1——NumPy基础及取值操作
机器学习常用库1——NumPy基础及取值操作NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。是在学习机器学习、深度学习之前应该掌握的一个非常基本且实用的Python库。若需要更加详细的查阅NumPy所提供的接口，可以查阅官方文档。第一关 ndarray对象import numpy as npdef print_ndarray(input_data): ''' 实例化
2021-08-02 22:48:08
1765
3
原创 本地项目远程地址由gitlab切换至github
Github连接本地仓库问题解决问题背景由于之前开发都是用的公司的gitlab，太久没用自己个人的github仓库，再重新将git链接至个人github的repository时出现了诸多问题，将解决方案记录如下，给同样遇到问题的朋友提供一些思路。本次处理问题的前提是之前有在本地与github建立过SSH连接，且项目有git经历如果首次使用，大家可以参考Git的使用–如何将本地项目上传到Github文章来进行学习操作流程与问题记录1. 查看并解除本地仓库与之前仓库建立的链接首先进入需要解
2021-07-31 23:37:23
870
jieba分词工具包下载
2021-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人