- 博客(31)
- 收藏
- 关注
RSS订阅原创 invidia-smi占用显存，无法显示PID
home/gpu15/projx/sd-scripts/notebook/kohya-trainer/sdxl_train.py是我在运行的脚本，那么。这会显示所有python进程号，likethis。传递所有以此脚本运行的进程，接着kill。
2024-04-23 14:13:18
381
原创 条件期望公式和推导
我们已经计算出了在特定产品种类下，考虑所有可能季节和市场需求后的收入期望值。现在，我们需要计算所有产品种类对收入期望值的贡献。这通过对所有可能的产品种类的条件期望值加权求和来实现，权重为。
2024-03-23 21:46:18
628
原创 KL散度推导
KL散度是深度学习中，求groundTruth和推理结果概率分布的一个重要数学工具。1、假设我们有两个分布P和Q，现对分布P进行N次实验，得到最终某一个结果的概率就是。由于我们只用到离散表达的公式，所以这里的证明也是离散的，但是连续KL散度同理。2、如果Q也发生了同样的所有事件，那么得到的结果最终概率为。是发生的具体事件（有M类），总共进行了。3、将这两个最终概率相除。
2024-03-22 23:57:24
207
原创 机器学习基础知识面经（个人记录）
树1可能会根据“温度”和“风速”预测“是”（适合野餐）。树2可能会根据“天气”和“湿度”预测“否”（不适合野餐）。树3可能会根据“天气”和“风速”预测“是”（适合野餐）。最后，我们通过多数投票来确定最终的分类结果。在这个例子中，因为有两棵树预测“是”，一棵树预测“否”，最终结果是“是”（适合野餐）。
2024-03-19 17:38:03
740
原创 自动获取引用文献
使用selenium自动化工具进行爬取，具体来说就是bib格式引用，修改pn.txt，每行一个文献名称，输出在output.txt。
2024-02-05 22:12:46
214
1
原创 白嫖kaggle算力资源并ssh连接
从上一篇的内容看，我是启用了code-server地端口，将其映射到ngrok内网穿透上，实现了方便地白嫖算力资源，那么如果想利用这台机器直接进行ssh连接岂不是更方便，于是本文将介绍如何进行ssh连接，方便使用vscode以及各种shell进行连接由于我的ngrok账户只允许一个端口转发连接，所以以开始就要直接进行22端口转发服务我们在kaggle打开终端依次进行这几个步骤（没有耐心直接跳转到）
2024-02-04 17:32:08
1076
4
原创 huggingface国内下载
../venv/lib/python3.9/site-packages/carvekit/utils/download_models.py这里面的HuggingFaceCompatibleDownloader类中的base_url: str = ""，当然这只是一个案例，具体情况需要根据具体的下载器来更改。，例如我使用carvekit库的时候，里面会重新链接到。但是，有时候python程序并没有对。进行下载，直接毕其功于一役，修改。
2024-01-13 16:44:09
866
原创 error “C++17“ or later compatible compiler is required to use PyTorch.
你如果是安装某个本地包的话，在安装包的setup.py目录下会有一个extra_compile_args参数，需要修改参数值（有些其他的包会用c_flags链接到这个参数值）。如果是运行某一个项目的话，在项目下可能会有一个非安装直接在目录中使用的安装包，需要找的这个包，方法就是找所有的setup.py。如果你用的IDE是VScode的话，直接搜索这个extra_compile_args就能找到了。如何知道自己应该改哪里的C++14到C++17呢？看到了这篇文章，知道了报错的原因。
2024-01-13 16:36:56
1974
原创 算力解决方案（tmp）
现在我们就借助kaggle平台，获得每周30h GPU和20hTPU配额，当前教程仅用于学习和demo调试，或者下载国外数据集等大文件的中转站（国内连接kaggle确实快）。如果需要运行可靠项目，请更换更稳定的服务器使用（文件系统是暂存的）
2024-01-06 03:15:42
460
原创 CLIP再研究以及和视频异常检测的结合
以前也有人尝试利用文本的语义来辅助训练视觉模型，但是效果都不是很好，作者指出原因可能是以前没有现在这么大的算力、模型（VIT）、自监督训练（也就是数据量可以很大但是不需要很贵的标注成本）。在这篇文章，作者收集了4亿个（文本、图像）的数据对通过对比学习的方式对模型进行训练，发现在很多领域如OCR、分类等都能表现出很好的Zero-shot能力，有很好的泛化性，还发现模型的尺寸与精度成正比。
2023-07-16 17:17:22
640
3
原创 黑客攻防大作战：解锁渗透测试的技巧与策略
随着网络技术的飞速发展，越来越多的企业和个人将他们的数据和信息存储在计算机系统和云端。渗透测试是评估计算机系统、网络或应用程序安全性的一种方法，通过模拟潜在攻击者的行为，以发现系统中的漏洞和弱点。渗透测试的目的是发现和修复潜在的安全风险，从而提高系统的安全性和可靠性。这种测试方法结合了黑盒测试和白盒测试的优点，可以在较短的时间内找到系统的漏洞和弱点。报告和修复：测试人员将生成详细的报告，包括发现的漏洞、利用过程、影响范围和建议的修复措施。此外，应定期更改密码，并避免在不同的系统和服务上使用相同的密码。
2023-06-22 15:21:42
193
原创 语音识别再研究
主流采用RNN+CTC结构关于RNN结构不再赘述Connectionist Temporal Classification (CTC)适合不知道输入输出是否对齐的情况使用的算法，所以CTC适合语音识别和手写字符识别的任务。为了在时间序列上构造一个合法的可以梯度下降的序列，将在每一个时间分区预测一个token，这个token可能是字母也可能是空格符E。空格符之间的重复字母需要删去，空格最终删去。产生一个单词的token序列是不唯一的，但是都可以化简为唯一的token序列，下图是所有可能得序列。
2023-05-30 15:31:36
98
原创 解决一次cuda安装问题
1.删除清华源，重新conda下载安装11.0，卸载cpuonly，false。2.pip 下载，自己安装对应torch及torchvision。
2022-09-22 09:12:14
276
原创 TextCNN文本分类实现
项目基于CNN模型，对输入问题进行训练，让机器可以识别出问题的类别从而通过相应类别查询所要寻找的数据有关于数据部分的链接https//pan.baidu.com/s/16ZR6LVVLP-_4mXLJG_aD4g?pwd=1111你需要把它放在所建立的py文件通文件夹下，原因如是注有关浅谈和一些题外话仅仅作为学习过程中的测试用，代码中不加入无关紧要。......
2022-07-15 12:03:48
534
2
转载 neo4j学习
neo4j简单向MATCH是匹配操作，而小括号()代表一个节点node（可理解为括号类似一个圆形），括号里面的n为标识符。2、我们创建一个课程节点：CREATE是创建操作，Class是标签，代表节点的类型。花括号{}代表节点的属性，属性类似Python的字典。这条语句的含义就是创建一个标签为Class的节点，该节点具有一个name属性，属性值是大学英语Ⅱ。 3、我们继续来创建更多的课程节点，并分别命名：4、接下来创建专业节点 ......
2022-07-13 17:45:00
2544
原创 人工智能的发展前沿
Zero-shot：没有例子One-shot：一个样例Few-shot：几个样例GPT-3可以面向Github编程，可以把所有代码生成出来无监督学习，无需加标签类别训练过程中有“敌人”比当前模型更强，通过不断学习，使得当前模型更好可以对NLP和图像进行结合，打通了图像和文本的次元壁......
2022-07-06 17:58:03
494
原创 知识图谱学习初步总结
、遇到问题汇总问题1：import torch爆出错误：ModuleNotFoundError: No module named ‘torch’这是在已经加载到pytorch环境中发生的错误，环境下配置都正常。解决方案：打开高级系统设置，将anaconda安装盘增加虚拟空间正在上传…重新上传取消编辑 我的是c盘，就在c盘增加虚拟空间问题2：导入neo4j时无法导入成功，报错信息为：neo4j.exceptions.ClientError: {code: Neo.C......
2022-06-30 16:17:31
847
原创 pytorch基本学习
tensor张量：张量的概念类似于、numpy中的narray数据结构，最大的区别在于tensor可以利用GPU的加速功能创建矩阵的操作（本身不包括值，只是磁盘上的原始值）创建随机初始化矩阵（0-1范围内）（插一句：高斯分布也叫正态分布：均值为0，方差为1）创建全零矩阵，指定元素类型为long直接通过数据创建张量通过已有的张量创建相同尺寸的张量torch.size类型是一个元组（用两个值来接受这个元组）加法操作：减乘除类似于此和numpy操作一样 如果张
2022-06-30 01:13:54
517
原创 neo4j操作在python中的应用
需要neo4j语法，在w3c里面：neo4j 教程_w3cschool连接到neo4j：这个是新版本的连接方法，老版本会报错写入关系操作写入实体属性之类只要在上面代码稍加修改即可
2022-06-29 17:02:28
122
原创 BERT--NLP处理框架
1、需要熟悉word2vec，RNN网络模型，了解词向量如何建模2、重点在于Transformer网络架构，BERT训练方法，实际应用3、BERT开源项目都是现成的，直接套用4、提供预训练模型，基本任务都能拿来用1、基本组成依旧是机器翻译模型中常见的Seq2Seq网络2、Transformer输入输出比较直观3、传统的RNN网络模型缺点：每一个下一步都会用到前一步中间的状态，不能并行运算4、Transformer可以解决并行问题 、注意力问题 5、传统的word2vec预训练好的向量永远不变了，那不同语境相
2022-06-28 16:32:20
407
原创 爬虫爬取笔记
步骤：1、获取首页response内容；2、解析网页内容，获取所需信息；3、获取下一页url；4、获取下一页response信息；5、解析网页内容，获取所需信息（使用xpath解析）；6、保存到文件。一步一步解决 xml数据都是双标签html既有单标签又有双标签xpath可以快速获取每个标签的属性/从根节点进行提取// 表示跨节点获取标签.例如. 表示选取当前节点，对节点数据的二次提取 例如.. 表示选取当前节点的父节点 例如@ 选取属性。（每一个标签里面都有属性值）text（） 选取标签包裹文本。 *
2022-06-27 15:01:00
93
原创 10-1 K-means聚类算法
K-means聚类的算法流程：一、指定需要划分的簇[cù]的个数K值（类的个数）;二、随机地选择K个数据对象作为初始的聚类中心 （不一定要是我们的样本点）;三、计算其余的各个数据对象到这K个初始聚类中心 的距离，把数据对象划归到距离它最近的那个中心所 处在的簇类中;四、调整新类并且重新计算出新类的中心;五、循环步骤三和四，看中心是否收敛（不变），如 果收敛或达到迭代次数则停止循环;六、结束优点：（1）算法简单、快速。 （2）对处理大数据集，该算法是相对高效率的。缺点：
2022-02-08 17:20:43
391
原创 8-2迪杰斯特拉斯与贝尔曼福特算法求最短路径
一、迪杰斯特拉斯总是寻找最短路径缺点：不能处理负权重想要处理负权重，需要使用二、贝尔曼福特算法我的理解是将所有的路径全部都试一遍，从n-1个顶点出发更新路径从而得到最短路径详细转到贝尔曼-福特算法(Bellman–Ford algorithm )油管最好的三个讲解_哔哩哔哩_bilibili代码...
2022-02-06 12:07:56
368
原创 8-1图论关于计算机作图
一、在线作图在线作图使用CS Academy二、matlab作图G:\QQDownload\meisai\A01建模视频及播放器（下载不了或速度慢可以用群下载的方式）\上课用的课件和代码(下载后记得解压，所有视频配套的都在里面)\清风数学建模课件和代码（全套下载后请解压)\正课配套课件和代码\正课配套的课件和代码\第8讲.图论最短路径问题\代码%% 注意：以下代码需要较新版本的matlab才能运行（最好是2016版本及以上哦）% 如果运行出错请下载新版的matlab代码再运行%% M
2022-02-06 10:31:00
698
原创 7-4四种模型的解释_虚拟变量的设置以及交互项的解释
什么时候取对数一、伍德里奇的取对数规则:为了解决（1）减弱数据的异方差性（2）如果变量本身不符合正态分布，取 了对数后可能渐近服从正态分布（3）模型形式的需要，让模型具有经济学意义。采用四种规则：（1）与市场价值相关的，例如，价格、销售额、工资等都可以取对数；（2）以年度量的变量，如受教育年限、工作经历等通常不取对数；（3）比例变量，如失业率、参与率等，两者均可；（4）变量取值必须是非负数，如果包含0，则可以对y取对数ln(1+y);二、四类模型回归系数1、一
2022-02-05 21:21:32
10119
原创 七-3-线性理解和内生性
一元线性回归一、回归就是让残差平方和最小称为残差，其意义是无法观测的且满足一定条件的扰动项这也就代表了残差的累积，得到了总体的差值简化来说就是这个式子tp：拟合与回归是具有相似性的，但不完全相同，拟合主要在于相关性的判断，而回归有严格的自变量和因变量二、对于线性的理解线性不要求严格线性，可以将目标函数转换成线性就行例如：预处理：就是转换方式 Excel预处理方法：输入函数与下拉，双击右下...
2022-01-24 23:26:01
1443
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人