puspos的博客

原创 百度飞浆目标检测

配环境创建项目时，自动使用PaddlePaddle【自动安装CUDA10.1】和python3.7。安装paddledetection（创建项目时，已经安装了paddlepaddle）#notebook中用!# 下载PaddleDetection!git clone https://gitee.com/paddlepaddle/PaddleDetection# 移到work目录下，持久安装!mv PaddleDetection work #安装paddledetectionpython

原创 linux终端命令即shell命令 notebook

#解压 zip 或 rar7z x compress.zip -o/hy-nas/compressunzip a.zip#把a.zip解压到当前目录unzip a.zip -d /aa #把a.zip解压到/aa目录下unzip -q a.zip -d /aa #把a.zip解压到/aa目录下，且执行时不显示信息unzip -oq a.zip -d /aa #把a.zip解压到/aa目录下，且执行时不显示信息且覆盖已存在的文件复制cp -r 文件 dir2#重命名mv a.txt b.t

原创 百度飞浆使用以及问题

百度飞浆voc和mmdetection需要的voc数据集格式少许不同

原创 剑指 Offer 22. 链表中倒数第k个节点

问题题解思路先遍历多少个节点，倒数变正数：O(n) O(1)双指针：O(n) O(1)slow=head fast=head+k步，最后slow为倒数第k个，fast=null代码class Solution { public ListNode getKthFromEnd(ListNode head, int k) { /* 方法1 ListNode h = head; int len = 0; whil

原创 206. Reverse Linked List 反转链表

问题解法1. 递归 O(N)class Solution { //head没有反转的部分的第一个节点，prev已经反转的链表的第一个节点 public ListNode reverseList(ListNode head, ListNode prev) { //此时全部节点反转 if(head==null) return prev; //将head节点反转，并将其后面的节点继续反转（同时传入已经反转的部分） ListNode nex

原创 RCNN SPPNet Fast R-CNN Faster R-CNN Cascade R-CNN

selective search算法根据颜色、纹理、尺寸、形状相似性，获取Region Proposal候选区域RCNNGirshick R , Donahue J , Darrell T , et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2013.步骤通过selective search算法在图片上取20

原创 mmdetection config文件

mmdetection框架中config文件dict使用mmcv实现：一般在mmcv.dataset.pipelines.transform.py下

原创 resize、重采样、降采样、上采样、下采样

图像变大、变小变大：重采样/上采样【内插值方法】变小：降采样/下采样【pooling：maxPooling, averagePooling】数据不均衡：有的类别多，有的少重采样欠采样/下采样：减少大样本类别的数量，抽取从Smaj 随机舍弃，可能损失有用信息过采样（上采样）：增加小样本类别的数量从Smin 中重复或有放回采样，可能造成过拟合生成新样本，SMOTE方式：对于少数类样本 a, 随机选择一个最近邻的样本 b, 然后从 a 与 b 的连线上随机选取一个点 c 作为新的少数类样本

原创 深度学习 模型融合/模型集成 model ensemble

将多个个体学习器按一定策略结合成一个学习器（集成）四种思想：主流bagging（代表：随机森林 RF）：多个模型的结果进行投票亦或求取均值作为最终的输出boosting（提升。代表：梯度提升树 GB）不太主流stacking（堆叠）blending (混合)...

原创 深度学习 Global average pooling (GAP) 全局平均池化

Global average pooling 之前如何分类cnn中通常在最后分类时，最后用全连接层接softmax激活函数进行分类。最后一层卷积通过卷积得到全连接的输入最后一层的卷积得到的feature map为(channels_in, h,w)，通过一个卷积核(channels,h,w)，得到一个神经元即(1,1,1)。若全连接层的输入要求有1024个神经元，则需要1024个卷积核。存在的问题全连接参数量过大，降低了训练的速度，且很容易过拟合Global average pooling

原创 迁移学习 fine tune(微调) 模型蒸馏

文章目录迁移学习: 把预训练模型参数迁移到新的模型上，帮助模型训练。应用场景手段fine tune/ fine tuning：微调，一种调参手段优点使用场景具体操作学习率设置使用哪些层权重multi-task learning迁移学习: 把预训练模型参数迁移到新的模型上，帮助模型训练。应用场景数据集中只有少量的label data，直接训练效果很差，容易过拟合。手段fine tune/ fine tuning：微调，一种调参手段y=wx，若w实际为5。如果w初始化为0，需不断反向传播更新后得到

原创 fp16和fp32 混合精度训练 mmdetection

gpu是否支持fp16fp16和fp32区别

原创 深度学习 训练（：训练集/验证集/测试集）和推理

训练：样本有结果划分方式训练集+测试集训练集+验证集+测试集训练集训练模型验证集训练的同时，进行验证，可根据验证集上的结果，调节超参数【其实也就对验证集进行了学习】测试集考察模型的泛化能力。推理：样本无结果，去预测结果...

原创 faster R-CNN

anchors：一组检测框RPN网络：图中每个点设置设置anchors，让cnn判断哪个anchor有目标，有即positive anchor，没有即negative anchor，二分类。然后训练得到的目标框逼近真是的目标框。im_info层的意义是存储了每张图片进入网络后原图片大小被resize至设定图片大小的比例和resize后图片的宽高RoI Pooling：让前面得到的不同尺寸的目标框变成同等尺寸，便于后面的分类...

原创 读取图片pytorch PIL.Image cv2区别

pytorch输入图像形状：[Batch, Channels, Height, Width]，要求RGBPIL.Image cv2区别#＃ 速度PIL.Image.open()获取Image对象，速度很快。cv2.imread()获取np.array对象，速度没有Image快，但是如果按照都转换为np.array计算，cv2更快。#＃ 读取通道PIL.image默认彩色图像读取通道的顺序为RGBcv2默认彩色图像读取通道的顺序为BGR，要转换为RGB使用#＃ 读取高、宽、通道数顺序im

原创 期望、方差、标准差、协方差、正太分布、分布

文章目录1 期望1.1 定义1.1.1 离散分布1.1.2 连续分布1.2 期望性质2 方差2.1 方差定义2.2 方差性质3. 标准差4 协方差和协方差相关系数4.1 协方差和协方差相关系数的定义4.1.1 协方差的定义4.1.2 协方差相关系数的定义4.2 协方差及相关系数的性质4.2.1 协方差的性质4.2.2 协方差相关系数的性质4.3 协方差和协方差相关系数的区别5 方差和协方差的区别1 期望EX由随机变量X的概率分布确定EX由随机变量X的概率分布确定EX由随机变量X的概率分布确定1.1

原创 深度学习 神经网络

文章目录基础知识激活函数：引入非线性增加模型复杂度，不改变数据维度，a=激活函数(b) a、b维度一样取值[0,1]，如leru取值[0,正无穷)可归一化成[0,1]，符合概率特点为什么要引入？sigmoid函数：取值 [0,1]relu：倒数函数不连续 取值[0,正无穷]，导数取值0或1softmax为什么引入？如何用？：多层神经网络的隐藏层选定优先级损失函数凸函数？等高线损失函数是凸函数时损失函数3D图3D图等高线图，压缩到θ1Oθ2平面\theta_1O\theta_2平面θ1​Oθ2​平面：可知，中

原创 微分、向量内积、方向导数、梯度、等高线、凸函数

文章目录微分全微分 偏微分一元函数 y=f(x) 求导二元函数 y=f(x1,x2) 求导二元隐函数求导y=f(x1,g(x1)),x2=g(x1)：dx2dx1=−fx1fx2y=f(x_1,g(x_1)),x_2=g(x_1)：\frac{dx_2}{dx_1}=-\frac{f_{x_1}}{f_{x_2}}y=f(x1​,g(x1​)),x2​=g(x1​)：dx1​dx2​​=−fx2​​fx1​​​梯度定义梯度的导数：为正梯度的方向向量内积方向导数：标量一元函数 y=f(x)y=2xy=2xy=

原创 python pytorch使用

文章目录pytorch介绍基本张量操作使用gpu保存模型gpu和cpu训练结束后保存如何选取最优的？保存模型：数据量大，加载时慢保存格式代码保存模型参数保存格式代码训练中不得已结束（如：停电断网）时保存 checkpoint 断点续传,以便加载后继续训练保存格式代码pytorch自带数据集pytorch从数据集制作mini-batch训练集和测试集从pytorch自带的数据集本地数据pytorch实现线性回归pytorch实现逻辑斯蒂回归：一维数据的二项分布与线性回归区别1. 是否有激活函数与线性回归区别2

原创 pytorch 问题

1. loss.backward()时出现 gpu利用率到100% 并出现kernel restart原因pytorch和cuda版本不匹配解决办法python3.6时

原创 pytorch torch.sigmoid、torch.nn.Sigmoid和torch.nn.functional.sigmoid的区别

torch.sigmoid：函数torch.sigmoid(input_tensor,out=None)->Tensortorch.nn.Sigmoid：class应该看作网络的一层，而不是简单的函数使用。模型的初始化方法中使用，需要在_init__中定义，然后在使用class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear1

原创 python 魔法函数 对象(参数) 实现了__call__函数

class A: def __init__(self): pass def __call__(self,*args,**kwargs): #args是元组=(1,2) #kwargs是词典]{'x':3,'y':4}a=A()a(1,2,x=3,y=4)

原创 markdown常用

数学符号\eta：η\etaη\：换行

原创 python_深度学习 数据处理

文章目录预处理+特征batch_size,epoch,iterone-hot编码/分类编码(categorical encoding)序列模型线性的层次堆叠损失函数激活+损失函数选择tensorflowkeras使用问题：预处理+特征1.数据向量化神经网络所有的输入和label目标都是浮点数张量（特定下，是整数张量）文本向量化文本分割为字符（中文一个字，英文一个字母），将每个字符转换为一个向量文本分割为单词（中文一个词，英文一个单词），将每个单词转换为一个向量提取单词或字符的n-gram，

原创 python_处理数据

处理数据array_like：list，numpy_array,DataFramebaseline：一个基础模型，算法提升的参照物。可以以此为基准来比较对模型的改进是否有效。通常在一些竞赛或项目中，baseline就是指能够顺利完成数据预处理、基础的特征工程、模型建立以及结果输出与评价，然后通过深入进行数据处理、特征提取、模型调参与模型提升或融合，使得baseline可以得到改进。所以这个没有明确的指代，改进后的模型也可以作为后续模型的baseline。文章目录处理数据标准化/归一化：让每个特征重要

原创 python_ku

axis==ass 1 行走 进去axis=0为列操作axis=1为对行操作bool 只有两种变化，0,1，用1B存储df中object类型是字符串类型，只存储指向字符串的指针，来保证同int8一样，每个元素占用存储空间一样，同numpynumpy中的array不能同list一样可改变长度，list是动态的，array是固定长度的文章目录打开texttrynumpyospandas构造特征多项式解决占用内存过多转换pandas dataframe为markdown tableseaborn

原创 msyql 视图与表

表：保存真实的数据视图：保存select语句从表中查到的数据，方便再次查看表数据修改，视图中数据也修改；视图中数据修改，表中数据也修改（但不建议通过该方式）#创建视图时，不能使用 ORDER BY 子句CREATE VIEW my_view (lie, lie2)ASSELECT product_type, COUNT(*) FROM product GROUP BY product_type ORDER BY product_type;#从视图中查询数据SELECT sale_pr

原创 anaconda opencv 分类器

前提知识正样本，负样本：检测是否戴口罩，则戴口罩为正样本，不戴口罩为负样本。描述文件txt：每张图片的绝对路径、数目、图片位置vec文件：是将可视的图片转化为矩阵存储opencv_createsamples.exe和opencv_traincascade.exeopencv_createsamples.exe：生成vec文件opencv_traincascade.exe：进行训练opencv 3.x才有两个exe，4.x就没有了，需要通过cmake进行操作才有。我在anaconda的tf

原创 anaconda使用tensorflow jupyter pytorch labelme

anaconda prompt命令conda/pip install baoconda list #查看安装的包conda env list #查看有多个少不同的环境 anaconda就是可以隔离不同的环境（不同的python版本）conda env remove --name tfenv #删除某个环境conda remove --name tfenv bao #删除某个环境下的某个包conda create --name tfenv python=3.6 # 创建随意的python版本的t

原创 cmd 命令

#把当前目录下所有的jpg格式图片的绝对路径放入a.txt中dir /b/s/p/w *.jpg > a.txt

原创 python打包脚本为exe，方便在无python环境运行

不是所有的电脑都有Python环境，我们需要将脚本打包成exe方便在任意一台电脑上使用。使用 PyInstaller 来进行脚本的打包在脚本所在的路径的cmd中执行以下命令即可pyinstaller -F yourprogram.py参考https://www.cnblogs.com/wlzcool/p/13985073.html...

原创 anaconda selenium使用Edge 爬虫

Edge驱动获取edge版本进入 https://msedgewebdriverstorage.z22.web.core.windows.net/ 下载对应版本的64位驱动，将msedgedriver.exe放在python/Scripts或者Anaconda/Scripts下在anaconda\Lib\site-packages\selenium\webdriver\edge\webdriver.py中修改MicrosoftWebDriver.exe为msedgedriver.exe参考

原创 typora导出word

先安装pandoc方法文件中无表格，直接导出word文件中有表格直接导出，失败cmd命令：pandoc -s a.md -o a.docx，此时可能存在排版混乱导出pdf，然后由pdf转换成word，此时可能存在排版混乱

原创 eclipse更新maven项目的pom.xml

右键项目->Maven->Update Project

原创 运行web项目方式

本地运行web项目eclipse+tomcat直接eclipse配置好项目的tomcat服务器后，直接Run as Service，此时：eclipse利用jdk把web项目编译后，以tomcat的目录结构形式，放到tomcat的webapps目录下，并启动tomcat服务器。间接eclipse把web项目打包为war包后，将其放到tomcat的webapps目录下，然后启动tomcat。eclipse+tomcat+maveneclipse创建maven的web项目后，通过mave

原创 tomcat

原创 jdk jre

jdk 开发人员使用的开发工具[Java Development Kit]编译器(javac.exe)+开发工具+类库jre 运行java字节码的环境[Java Runtime Environment]jvm(java.exe)+基础类库jdk和jre关系jdk-11之前，jdk包含jre，毕竟开发人员编译后肯定要运行(字节码)的。jdk-11开始，jdk中不含jre...

原创 maven 问题

1. 新建maven项目时，报错：org.apache.maven.archiver.MavenArchiver.getManifest原因maven相关jar包和jdk版本不匹配解决办法1 升级相关jar包：https://blog.csdn.net/qq_24313635/article/details/1088884962 降低版本或者删除pom.xml中的maven-jar-plugin或maven-war-plugin...

原创 maven相关

groupId和artifactId是保证找到你项目的坐标【当你把项目放到maven本地仓库中时】groupId：com.公司名 org.apache(org非盈利，com营利，cn表中国；后接公司名或人名)artifactId：项目名 tomcat则此时包结构最好为：org.apache.tomcat，类的全路径为org.apache.tomcat.entity.类version：0.0.1-SNAPSHOT 快照 表在开发中packaging打包方式：jar：jar包，用作jar包使用wa

原创 dorado7 创建maven项目

1. 下载maven，安装后，maven修改仓库地址以及镜像apache-maven-3.6.3\conf\settings.xml<localRepository>E:/repository</localRepository><mirrors> <mirror> <id>aliyun</id> <name>aliyun</name> <!--<mirro