- 博客(89)
- 收藏
- 关注
RSS订阅原创 vscode调试pytorch的DistributedDataParallel代码
上面的写法会报错，因为–nproc_per_node=1,–use_env以及–cfg=cfgfile三个变量实际上都是传递给前面"program"所指示的launch.py文件的，而该文件并没有cfg参数，因此会报错。这里我们得到了两个结果，看目标文件的路径名，第二个launch.py应该在软件的解压缩包里，因此这里使用第一个，记下这个绝对路径。上面的写法是默认没有任何参数传递给train.py的，如果要给它传递参数，则一定要写到main.py之后，例如。program就是我们上一步复制的绝对路径。
2023-11-17 15:21:45
140
原创 前缀树-1
文章目录1. 数据结构2. 字符串插入前缀树3. word这个单词之前加入过几次4. 所有加入的字符串中，有几个是以pre作为前缀的。5. 删除word单词前缀树需要特殊的数据结构：节点不放值，值放在边上。1. 数据结构（可以用hash表的方式表示某个节点下级的路径有哪些）2. 字符串插入前缀树3. word这个单词之前加入过几次4. 所有加入的字符串中，有几个是以pre作为前缀的。5. 删除word单词...
2022-05-07 16:39:00
535
原创 排序模板-1
文章目录1. 快速排序：2. 冒泡排序3. 选择排序4. 堆排序5. 希尔排序6. 折半插入排序7.归并排序1. 快速排序：方法：快速排序就是先选中一个基准数，然后把比这个基准数小的数字移到基准数的左边，比基准数大的移到右边。**特点**： - 快排的运行时间依赖于划分是否平衡，而平衡与否又依赖于用户划分的主元素。 - 如果划分是平衡的，那么快速排序算法性能与归并排序一样。 - 如果划分时不平衡的，那么快速排序的性能就接近于插入排序了我们用来避免最差情况发生的方法如下：**求序列的中值*
2022-05-06 22:42:28
221
原创 图算法-1
图算法1. 深度优先遍历：栈+set2. 宽度优先遍历：队列+set3. 算法题3.1拓扑排序：3.2 最小生成树3.2.1 kruskal法3.2.2 Prim算法1. 深度优先遍历：栈+set2. 宽度优先遍历：队列+set3. 算法题3.1拓扑排序：3.2 最小生成树3.2.1 kruskal法（保证连通时，权值和最小）自己做法2. 并查集法3.2.2 Prim算法适用范围：无向图...
2022-05-05 19:35:25
200
原创 Scanner使用
Scanner类简介Scanner类主要用于扫描用户从控制台输入的文本，即当用户需要输入数据时，调用java.util包中的Scanner类，Scanner类能获取用户所输入的数据。方法一：next()、nextInt()、nextDouble()、nextFloat()是一类即一定要读取到有效字符后才可以结束输入，对输入有效字符之前遇到的空格键、Tab键或Enter键等结束符，next()方法会自动将其去掉，只有在输入有效字符之后，next()方法才将其后输入的空格键、Tab键或Enter键等视为
2022-04-13 17:09:26
354
原创 Java异常try{}catch{}中的return机制
Java异常try{}catch{}中的return机制在探索try{}catch{}finally{}中return的时机之前，我们先根据return的位置，定义一下return的类型。private static String test() { String str = "start"; try { return str = "try ruturn"; //这里定义为正常return } catch (Exception e) { return str = "catch rutur
2022-04-13 13:48:30
2566
1
原创 为什么序列化
把类对象，在内存中按照一定的格式整合起来，拼成二进制串的过程就是序列化。按一定格式：保证序列化后再取用可以知道各个字段的意思。整合起来：对象在内存中可能是分散存储的拼成二进制串：电脑中的数据都是二进制串。序列化只是个抽象概念，具体实现要看实际情况。有时候序列化的实现就是将实例的内存直接发出去。不过这样做的时候需要被序列化的类满足POD，还不能有padding。POD就保证了数据是紧密的，不会包含着运行相关的数据，例如指针（有指针的话，数据是分散在内存中存储的）（保存指针信息没有意义因为
2022-04-13 12:51:15
87
原创 YOLOv3笔记
YOLOv3笔记YOLO模型演进模型结构Darknet-53整体框架网络输出评价指标YOLO模型演进模型结构Darknet-53整体框架网络输出评价指标AP一个类别P-R曲线围成的面积。在P-R曲线的制作中，confidence阈值是变量，IOU阈值是常量。确定一个IOU阈值，不断变化confidence阈值，获取相应的P和R值，再将P-R画成曲线。AP就是P-R曲线与坐标围成的面积。mAP多个类别的AP的平均mAP@0.5IOU阈值设置为0.5时，的mAPmA
2021-09-03 17:05:42
155
原创 将所写的python项目打包放到服务器上，自带环境
将所写的python项目打包放到服务器上，自带环境准备项目打包库文件准备项目将项目写好打包库文件获取开发环境；pip freeze > requirements.txt在开发环境中挑选需要的库；在开发环境中找到指定库所在位置；anaconda3/envs/env_name/lib/python3.6/site-packages/将需要的库都拷贝到一个文件中；在这个文件中放入项目代码；项目代码运行时要将打包库的路径，放入环境变量中(需要在引用库函数之前引入环境变量)；
2021-09-01 17:26:19
710
原创 KG-网安
论文解读Review on the Application of Knowledge Graph in Cyber Security Assessment知识图谱在网络安全评估中的应用出版： Kai Zhang and Jingju Liu.英国物理学会(IOP).2020摘要：知识图可以结构化地描述客观世界中的概念、实体及其相互关系。将知识图谱应用到网络安全领域，可以更好地组织、管理和利用网络空间中的海量信息。本文总结了常见的网络安全评估模型和他们的缺点,讨论基于本体知识表示的研究进展,从而得出结
2021-01-24 18:16:03
1453
原创 panda读取中文xlsx文件问题
数据为中文内容，xlsx文件保存。直接读取文件出错（Python报错：pandas.errors.ParserError: Error tokenizing data. C error: Expected 3……），将xlsx文件后缀保存为csv，仍出现格式问题，后**将xlsx文件另存为csv**解决此问题。读取csv文件出现编码问题（UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb3 in position 0: invalid sta.
2020-10-23 09:15:22
1342
1
原创 服务器配置远程jupyter notebook
首先要时刻注意权限问题，普通用户和root权限不同用户因为权限问题，不同用户之间不能使用另一个用户的jupyter notebook会报OSError: [Errno 13] Permission denied: ‘/run/user/1000/jupyter’，[在我的普通用户下安装jupyter。生成jupyter notebook配置文件（默认下没有）在配置文件内修改可访问ip，密匙，禁止自动打开浏览器](https://www.jianshu.com/p/fff4a61dee7a)远程打.
2020-10-22 22:21:01
96
原创 小样本学习
小样本学习目的：学会不同物体的异同。Support Set不是训练集用一个大的训练集训练一个大模型，训练的目的不是让模型识别训练集里的大象老虎，而是让模型知道事务之间的异同。（可以用SUpport Set数据集，让模型判断Query是水塔，尽管训练集里面没有水獭这个类别。）Meta Learning(这个名字有些故能玄虚，可以把它看做Few-shot learning 小样本学习)Few-shot Learning is a kind of meta learning。Meta learni
2020-08-15 19:38:29
2848
原创 一个发现问题解决问题的思路
一个发现问题解决问题的思路有些开创性的事情，并没有现成的解决方案，我们首先得到的是一个大领域。首先要读大量论文，有知识储备。我们首先要做的是发现这个大领域里值得做的有意义的问题。有了这个问题我们尝试寻找解决方案。在设计解决方案时再思考模型的input和output，再去思考网络的具体结构。最后去用代码实现这个解决方案。...
2020-08-14 12:10:35
499
原创 SVM
SVM运用的方法间隔对偶核技巧硬间隔SVM的任务就是找到能够分割不同类别的超平面里最好的那个，这是相对感知机的优点。（最大间隔分类器）就是让支持向量距离超平面最远。因为标签y为1：-1所以可以去掉绝对值。注意每一步中谁是变量谁是常量因为对于一个平面来说，系数成比例缩放，所代表的平面一样，所以我们令r=1所以上述问题化简为最优化问题转化成最小化最后硬间隔SVM变...
2020-08-11 21:40:23
134
原创 YOLOv3训练自己的数据
训练自己的数据需要准备两方面可以利用YOLOv3进行实验.配置文件数据集一:配置文件(要设置网络的形状)因为类别个数不同了二:数据集是包含6部分1.Annotations这个是你最原始的label数据,为xml格式,之后要用这个label数据生成适合接口的数据.这部分是用LabelImg标注工具标注生成的,标注后的xml格式如下: <annotation> <folder>VOC2007</folder> <fi
2020-08-11 21:21:46
195
原创 Github
基本概念仓库（Repository）每个项目对应一个仓库。收藏（star）收藏项目，方便下次查看复制克隆项目（Fork）深度copy，独立存在。发起请求（pull request）把复制的修改发给原仓库，原仓库可以选择合并这些修改。关注（Watch）被关注的项目有变化会给你提醒事务卡片（Issue）讨论区Github主页仓库主页个人主页仓库管理安装Git官方教程检验是否安装成功，如下则成功git 工作流程Git 初始化以及仓库创建和操作2.3
2020-08-01 18:48:24
96
原创 shell脚本下载
经过漫长的尝试终于学会了四行代码##在linux下运行filename="coco2017labels.zip"fileid="1cXZR_ckHki6nddOmcysCuuJFM--T-Q6L"curl -c ./cookie -s -L "https://drive.google.com/uc?export=download&id=${fileid}" > /dev/null#https://drive.google.com/uc?export=download&id=$
2020-07-31 22:18:03
1786
原创 浏览器特性和安全策略
浏览器特性与安全策略同源策略客户端攻击主要来自javascript脚本。沙盒框架演示跨域策略cookie安全策略可以让客户端的JavaScript脚本无法读取cookie的值。内容安全策略白名单制度例如...
2020-07-17 11:26:47
200
原创 安装pytorch+cuda9.0
1.找好pytorch与cuda的对应关系.这个链接可以查对应cuda的安装包2.找好pytorch与torchvision的对应关系2.查好自己的GPU与驱动与CUDA和CUDNN的对应关系3.找好对应CUDA的pytorch安装方法4.当conda,pip安装较慢时,将安装包下载下来本地安装,对于linux...
2020-07-15 16:27:18
5510
原创 网安-web与HTTP基础
web万维网：http://baike.baidu.com/item/www/109924?fromtitle=%E4%B8%87%E7%BB%B4%E7%BD%91&fromid=215515&type=syn&sefr=enterbtn网页：http://baike.baidu.com/item/%E7%BD%91%E9%A1%B5浏览器的发展史：http://article.yeeyan.org/view/39879/240445浏览器的渲染过程：http://cool
2020-07-13 17:29:40
157
原创 网安-HTML，Javascript基础
HTML基础HTML基础教程HTML测验完成100个HTML实例Javascript基础学习教程Javascript运行：嵌入到HTML中DOM教程BOMalert（） 让浏览器弹出警告。confirm（）确定弹窗prompt（） 提示弹框这些提示信息可以作为漏洞将cookie以弹窗的形式弹出。...
2020-07-13 15:58:14
193
原创 CenterLoss Softmax sigmoid
Center Loss讲解地址：https://www.cnblogs.com/carlber/p/10811396.htmlhttps://blog.csdn.net/u014380165/article/details/76946339论文链接：http://ydwen.github.io/papers/WenECCV16.pdf代码链接：https://github.com/pangyupo/mxnet_center_loss需要指出的是C是一个batch中，网络到达某一层对于一个i类的
2020-07-02 18:24:40
170
原创 conda下载问题
通常conda下载过慢，且没有断点续传。所以我们可以直接到conda官网下载函数库。https://conda.anaconda.org/pytorch/linux-64/得到下载得到安装包后用conda install -use-local 我的安装包地址pytorch 有一个previous pytorch visions ，里面可以查看历史版本。...
2020-06-30 22:25:55
855
原创 多版本Python共存时pip给指定版本的python安装package的方法
多版本Python共存时pip给指定版本的python安装package的方法在linux安装了多版本python时（例如python2.6和2.7），pip安装的包不一定是用户想要的位置，此时可以用 -t 选项来指定位置.例如目标位置是/usr/local/lib/python2.7/site-packages/ ，要安装xlrd 这个包，则：$ pip install -t /usr/local/lib/python2.7/site-packages/ xlrd怎样省级linux里的piph
2020-06-30 14:56:36
384
原创 开启windows自带linux功能
一.Win10开启权限-----设置完需重启电脑1.到打开控制面板—程序和功能— 勾上linux2. 设置—搜索"开发者"-----勾选开发者选项(可选)二. 安装Ubuntu打开win10应用商店-----搜索Ubuntu-----直接安装三. 默认桌面没有快捷方式----如何找到应用方式1: 我这个版本是可以直接在这里找到的(如下图:), 如果没有强迫症的话, 这样就可以了四. 初次使用这里需要耐心等待一会首次运行,需要输入账号和密码, 成功后即可进入命令行操作.
2020-06-30 13:32:01
900
原创 Pytorch网络-3
定义网络建一个class定义网络的层定义网络的前向传播，反向传播会自动推导。Dataloader2.优化器&损失函数训练过程model.train() 指明这个网络有梯度，要更新参数。optimizer.zero_grad() 优化器清零。output = model(data) 计算前传得到预测的输出。loss=F.nall_loss(output, target) 计算损失。loss.backward() 反向传播计算梯度，梯度
2020-06-29 13:28:54
2034
原创 行人重识别-4
基于GAN的方法ReID痛点，以及GAN方法对其的解决常用的GAN方法实例1.CamStyle解决不同相机拍的照片风格不同的问题。会使网络对相机的风格比较的鲁棒。2. PTGAN用于解决不同场景下图片对结果的偏差。使用语义分割，保持前景不变改变背景信息。3. SPGAN目标域可以不用标注4. PNGAN输入一个人图片和一个姿态，最后可以得到这个人在这个姿态下的生成图片，再将生成图片和原始图片计算度量距离。训练方法：（Base Network A 和B是两个不同的
2020-06-28 21:11:37
156
原创 行人重识别-3
序列重识别定义：用序列识别序列。特点案例3.13.2难点案例5.1 AMOC空间子模块和运动子模块5.2 DFGPsoftmin归一化5.3 RQEN遮挡问题 训过程对每一个图像进行一下操作
2020-06-28 18:54:21
129
原创 行人重识别-2
代表算法水平切块方法图像水平切割，每一块进入一个CNN，将这些输出依次输入LSTM得到输出，对输出进行度量学习。问题：姿态不对齐时，模型失效。解决方法：AlignedReID1.1 动态对齐算法姿态不对齐造成的问题。更加关注相似的区域（距离越小，梯度越大）水平切块-PCB水平切块-ICNN训练时测试时水平切块-SCPNet姿态信息算法PIESPindle NetPDCGLAD总结分割方法2.2. SPRelD
2020-06-28 10:32:44
233
1
原创 行人重识别-1
综述系统存在问题 及 指标评价标准rank-kCMCmAP 学习方法最终效果（聚类）外观相似的人会聚类到一起表征学习 与 度量学习训练网络需要一个损失函数，表征学习和度量学习就是由损失函数的不同而区分的。表征学习：通过辅助手段来学习图像的相似度，而不是直接学习。度量学习：通过网络直接学习出图像的相似度。表征学习：具有分类损失和验证损失。1.1 分类损失进行训练1.2 接不同Fc层代表不同的属性以增强训练时的效果。1.3在测试的时候要把Fc层
2020-06-26 21:32:20
179
原创 网络压缩
前端压缩SquzeNetXceptionShuffleNET知识蒸馏后端压缩低秩近似SVD分解减枝其他方法4.1 加快训练速度。4.2 滤波器级别的删除。量化5.15.2
2020-06-26 12:45:04
150
原创 先验概率和后验概率
先验概率是由因求果，后验概率是由果求因。假如堵车是结果，发生交通事故是引起堵车的原因先验概率：P（堵车|发生交通事故）后验概率：P（发生交通事故|堵车）假如头痛是结果，脑残是可能的原因先验概率：P（头痛|脑残）后验概率：P（脑残|头痛）利用贝叶斯公式可利用先验概率和后验概率互求P(B|A)=P(A|B)P(B)/P(A)P(脑残|头痛)=P(头痛|脑残)P(脑残)/P(头痛)...
2020-06-18 21:43:34
171
原创 HMM隐马尔科夫模型
Hidden Markov Model频率派：统计机器学习（判别模型） 问题转化为优化问题。 （a）定义模型 （b）定义损失函数 （c）优化算法贝叶斯派：概率图模型（生成模型） （a）做推断，求后验概率P(y|x)。 （b）求期望，方差。。。。 （c）演变为积分问题（利用数值计算的方式）HMM（一个模型，两个假设，三个
2020-06-17 21:13:17
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人