- 博客(56)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 c++ 工厂模式编程实现
何为工厂模式c++实现简单的工厂模式1.定义基础工厂，其他事件继承工厂，对函数重定义class factory{}#include <iostream>suing na2.应用工厂示例(在主函数前已经实例化)在这里插入代码片3.工厂接口，通过接口实例化应用工厂，实现解耦factorymanager *factorymanager:: GetInstance(){ static factorymanager instance; return &instanc
2021-11-09 20:17:29
693
原创 pyspark 入门
为什么用python中pandas是数据分析的利器，具有并行的特兹那个，而且函数和数据计算的方法非常方便，是数据分析中的瑞士军刀。但是受限于单个机器性能和配置的限制，当大规模数据，比如100G-10TB规模的数据时，pandas就显得局限了，就像瑞士军刀杀牛，难以下手。这时就需要基于分布式计算的大数据工具spark,是基于分布式计算，可以基于hadoop和hive，进行分布式的数据计算，同时spark具有python API，可以通过类似python的语法，无门槛的过渡。怎么用pyspark支持RDD
2021-10-11 11:51:31
875
原创 protobuf c++编程笔记
文章目录字段内容的定义修饰符字段类型引用方式不同字段的方法1)optional修饰的基本类型：2）optional修饰的对象类型：3）repeated修饰的基本类型：4）repeated修饰的对象类型：序列化反序列化字段内容的定义修饰符required字段类型引用方式不同字段的方法1)optional修饰的基本类型：set_属性名(val) ：初始化修改属性值；属性名()：获取属性值，只读模式，返回类型是::google::protobuf::int64；2）optional修饰
2021-08-22 22:57:37
770
原创 python时间序列异常检测库ADTK,风控算法工程师的福音
文章目录adtk简介数据要求异常特征加工滑动窗口adtk简介智能运维数据基本上都是时间序列形成的，时间序列数据的异常检测是风控算法的重要组成部分，而可以调用ADTK库完成基本的算法，和大家分享该库的使用。adtk（Anomaly Detection Toolkit）是无监督异常检测的python工具包，它提供常用算法和处理函数：简单有效的异常检测算法异常特征加工处理流程控制安装：pip install sdtk数据要求时间序列的数据主要包括时间和相应的指标（cpu,内存等），py.
2021-07-30 17:03:14
4969
2
原创 深度多模态子空间聚类网络+代码实现
文章目录网络概述（论文）引言Deep Subspace Clustering Networks（基于稀疏和低秩表示的深度子空间聚类）基于空间融合的多模态子空间聚类基于亲和融合的深度多模态子空间聚类代码详解模型定义模型训练网络概述（论文）相关论文资源：在我的资源中，请关注我然后下载。共三篇论文：Deep Subspace Clustering NetworksDeep Multimodal Subspace Clustering NetworksCross-Modal Subspace Clust
2021-04-17 17:06:37
4317
5
原创 2021年找工作经验分享，避坑
实习暑期实习一般转正较多，一般从三月份，暑期实习就可以开始投递面试。所以刷题尽量从十二月就开始。暑期实习面试对项目经历要求较少，扎实的刷题能力至关重要。数据库，操作系统，计算机网络这类基础，可以根据自己投递的岗位侧重的复习。实习要找你最理想的职位，这样会为你秋招打分许多。实习岗位和你秋招岗位不同，也是也分加分选项。如果想去阿里，实习可谓是一个捷径。项目项目不要求创新，可行性最重要。笔试大厂（阿里，腾讯，百度）较为侧重创新新，都是查不到的题目。基础要扎实再去笔试，中厂一般收拾基本都可以找到原题。懂
2021-04-05 21:32:02
175
原创 WXG机器学习算法面试
一面 1h20min1.单转链表2.sql中left jion,right jion和full jion的定义3，概率题，小明去酒吧的概率是0.9，去A,B,C三家酒吧概率相等。现在发现小明不在A,B两个酒吧，求出在C酒吧的概率。4，场景题 没有历史数据，已知用户账号登录的几个特征，怎样简历异常登陆检测模型。下面介绍自己反欺诈的项目，关于特征工程进行了介绍。最后介绍了自己的CV的项目，没问什么问题。二面1h没刷题。全程项目介绍与基础知识考查。记忆深刻的几道题：1，self-attent
2021-03-29 20:58:19
735
原创 一些python库的详细指南
文章目录可视化MatplotlibpyEcharts命令行Argparse可视化Matplotlib可视化库，在算法领域的可视化或者数据科学中扮演了重要的作用，学好了可视化，组会做展示，分分钟让老板加薪！官方中文教程示例pyEcharts简书文档示例官方中文文档命令行Argparse详细教程...
2021-01-22 20:40:40
108
原创 图像分类性能提升方案
文章目录1.模型训练调参1.1学习率衰减策略采用cosine函数1.2使用标签平滑(label smooth)1.3知识蒸馏(knowledge distillation)1.4Mixup2.迁移学习在已经成熟的模型参数初始化，训练自己的数据参考文章：https://zhuanlan.zhihu.com/p/114869268在不改变网络模型的前提下的性能提升tricks1.模型训练调参1.1学习率衰减策略采用cosine函数1.2使用标签平滑(label smooth)1.3知识蒸馏(know
2021-01-20 16:38:22
986
原创 Google coLab使用说明 强烈推荐
文章目录简介新建项目前期配置1.修改笔记本环境2.安装必要的包和软件、3.挂载Google Drive4.安装深度学习平台进阶操作1.更改工作目录2.运行自己的代码简介Google Colaboratory是谷歌开放的一款研究工具，主要用于机器学习的开发和研究。这款工具现在可以免费使用，但是不是永久免费暂时还不确定。Google Colab最大的好处是给广大的AI开发者提供了 免费的GPU 使用！GPU型号是 Tesla K80 ！你可以在上面轻松地跑例如：Keras、Tensorflow、Pytorc
2021-01-12 15:16:12
3447
原创 Python更加基于项目的虚拟环境管理pipenv
库名称 Pipenv功能作用pipenv=pip+virtualenv这样的效果可以使我们更加关注项目的管理：工具内部封装了以上两个功能优势不需要再分别安装pip和virtualenv ,直接使用Pipenv即可，会自动创建虚拟环境并安装三方库，自动记录项目依赖的所有三方库，而且使用Pipfile和Pipfile.lock取代了requirements.txt使用说明文档：https://docs.pipenv.org1.安装：pip install pipenv2.创建虚拟环境
2020-12-27 22:40:55
227
2
原创 YOLOv4论文翻译及总结
借鉴文章：https://zhuanlan.zhihu.com/p/143747206YOLOv4资源链接：论文：https://arxiv.org/abs/2004.10934代码：python代码：https://github.com/Tianxiaomo/pytorch-YOLOv4c++代码：https://github.com/AlexeyAB/darknetpython版本的Tensorrt代码：https://github.com/hunglc007/tensorflow-yolo
2020-12-21 19:11:46
1774
原创 ubuntu开启Jupyter notebook远程访问，无界面玩转服务器
Ubuntu安装jupyter notebook1.Anaconda自带一般安装Anaconda后，jupyter notebook已经附带安装，命令行输入jupyter noterbook，即可开启jupyter notebook服务，不过现在只能本地访问，在服务器的浏览器访问localhost:8888使用。如果jupyter notebook没有被附带安装，可以使用Anaconda安装conda install jupyter notebook2.pip安装pip install jup
2020-12-14 16:54:06
769
原创 多模态融合技术综述和应用
文章目录多模态技术基础1，多模态融合架构（神经网络模型的基本结构形式）1.1联合架构1.2协同架构1.3编解码架构（自监督）2，多模态融合方法2.1早期融合2.2 晚期融合2.3混合融合3，模态对齐方法3.1显式对齐方法3.2隐式对齐方法4，开放数据与资源应用1：多模态摘要（综合多模态信息生成内容摘要）多模态摘要种类多模态表示基础多模态中的注意力机制多模态词表示（用非语言特征：视频、音频调整词语的表示 ）教学型视频摘要多模态新闻摘要论文 Multi-model Summarization for Async
2020-12-03 11:58:14
28211
14
原创 面试问题决策树合集
文章目录1. ID3、C4.5和CART三种决策树的区别一、决策树的优点和缺点二、决策树思想及生成过程三，前后剪枝区别四，决策树优缺点：五,Random Forest Vs Bagging:XGBOOST和GDBT的区别xgboost，rf，lr优缺点有哪些？xgboost和lightgbm的区别和适用场景GDBT的原理,以及常用的调参参数AdaBoost和GBDT的区别GBDT推导gbdt推导和适用场景说一下gbdt的全部算法过程随机森林和 GBDT 的区别stacking和blending的区别?附加
2020-11-04 16:37:50
915
原创 算法工程师面试基础题目及答案
深度学习卷积类卷积神经网络的特点有哪些卷积深度可分离卷积1*1卷积的作用深度学习基础BN的原理，作用和实现细节优点：1）加快训练速度，这样我们就可以使用较大的学习率来训练网络。2）提高网络的泛化能力。解决过拟合3）BN层本质上是一个归一化网络层，可以替代局部响应归一化层（LRN层）。4）可以打乱样本训练顺序（这样就不可能出现同一张照片被多次选择用来训练）论文中提到可以提高1%的精度。BN层的输出Y与输入X之间的关系是：Y = (X - running_mean) / sqr
2020-10-13 21:58:57
5844
原创 目标检测中的性能提升方法综述
文章目录一，多尺度检测什么是多尺度检测？降低下采样率与空洞卷积多尺度训练优化Anchor尺寸训练深层与浅层特征融合SNIP，尺度归一化TridentNet,三叉戟网络总结二，目标检测中的样本不均衡问题什么是目标检测样本不均衡问题1，OHEM,在线难例挖掘2，S-OHEM，基于LOSS分布采样的在线困难样本挖掘3，Focal Loss 专注困难样本4，GHM，损失函数梯度均衡化机制总结目标检测优化使用的Trick本文从降低下采样率与空洞卷积、多尺度训练、优化Anchor尺寸设计、深层和浅层特征融合等多个方面
2020-10-08 16:58:33
2811
6
原创 注意力机制attention和Transformer
参考文献：https://zhuanlan.zhihu.com/p/146130215文章目录一，注意力机制二，自注意力（self-attention）三，软注意力机制1，空域注意力2,通道注意力机制3，混合域模型4，Non-Local5,位置注意力机制四，强注意力机制一，注意力机制attention 机制可以认为是一种资源分配的机制，可以理解为对于原来平均分配的资源根据对象的重要程度重新分配资源，重要的单位多分一点，不重要不好的的少分一点，attention的资源分配方式就是权重。视觉注意力分为几
2020-09-30 19:59:56
7680
1
原创 Pytorch实现YOLOv3目标检测
本教程使用的代码需要运行在 Python 3.5 和 PyTorch 0.3 版本之上。你可以在以下链接中找到所有代码：https文章目录一，YOLO工作原理1，全卷积神经网络2，输出3，二，创建YOLO网络层级三，实现网络的前向传播四，目标置信度阈值和非极大值抑制五，设计输入和输出管道一，YOLO工作原理1，全卷积神经网络FCN 75个卷积层，跳过连接和上采样，不适用任何形式的池化，使用步幅为2的卷积层对特征图进行下采样。这有助于防止通常由池化导致的低级特征的丢失。作为 FCN，YOLO 对于输
2020-09-29 22:51:39
1342
原创 Long-Tail(长尾)问题的解决方案
长尾问题在实际的视觉相关问题中，数据都存在长尾分布：少量类别占据绝大多数样本，大量的类别仅有少量的样本，比如open-images,ImageNet等。解决长尾问题嘚方案一般分为4种：1，Re-sampling:主要是在训练集上实现样本平衡，如对tail中的类别样本进行过采样，或者对head类别样本进行欠采样；2，Re-weighting：主要在训练loss中，给不同的类别的loss设置不同的权重，对tail类别loss设置更大的权重3，Learning strategy（阶段训练）：有专门为解决
2020-09-11 10:33:21
12272
2
原创 常用分类网络结构学习笔记
文章目录VGG NetResNet and GoogleNetIncepetionResNextDenseNETSE-Net轻量级MobileNet(2017)MobileNet V2(CVPR2018)ShuffleNet(2017)ShuffleNet v2(2018)VGG Net输入是大小为224224的RGB图像，预处理：计算出三个通道的平均值，在每个像素上减去平均值（处理后迭代更少，更快收敛）卷积层：使用非常小的33的卷积核，在有些卷积层里使用11的卷积核；卷积步长（stride）设置为
2020-07-07 09:41:07
933
原创 电竞数据开源
数据地址：链接: https://pan.baidu.com/s/1d5Xm-nmIltZ8h6_0KHGd5A 提取码: fbbd数据说明：数据标注了主播，友方，敌方的血条，还有击杀提醒，广播提醒，主播英雄头像和技能框。可以作为目标检测的数据，检测这些目标的位置，具体应用大家可以自己创新。制作不易，希望大家支持。...
2020-07-05 18:16:27
261
原创 机器学习学习笔记-西瓜书
误差函数1.0-1损失函数2.平方损失函数：最小二乘法的具体表现，误差分布满足正态分布3.绝对损失函数4.对数损失函数怎样选择？监督学习有两种策略：经验最小化和结构风险最小化当样本容量小时，经验风险最小化的策略容易产生过拟合的现象。结构风险最小化可以防止过拟合。结构风险最小化是在经验风险的基础上加上表示模型复杂度的正则化项或罚项：卷积池化后的图像大小计算设图像尺寸为WxW,卷积核尺...
2020-07-04 17:19:17
332
原创 深度学习中的评价指标函数
P R AP混淆矩阵TP:正确分类到正样本的样本个数FP:错误分类分到负样本的个数TN:正确分类到正样本的样本个数FN:错误分类分到负样本的样本个数P=TP/(TP+FP)R=TP/(TP+FN)一般来说，precision和recall是鱼与熊掌的关系，往往召回率越高，准确率越低,AP:平均准确度,计算方式：P-R线的面积mAP:平均AP，不同的类别的性能的均值，目标检测的性能指标。P-R曲线即 以 precision 和 recall 作为 纵、横轴坐标 的二维曲线。通过选取不同阈
2020-07-04 17:14:32
1161
2
原创 PyTorch模型转caffe
PyTorch模型转caffe简单教程1.将Pytorch 模型参数名和对应权重保留，存成字典，存入npy文件2. 建立caffe的prototxt文件。对应pytorch的网络结构，参数名字要有对应规律，可以使用python接口写，然后自动生成。1.手写prototxt文件，根据pytorch的模型。2.采用python接口自动生成prototxt文件3. 建立caffemodel文件，根据参数映射，将pytorch参数权重赋予caffe4.推测。对caffemodel进行测试，看看能不能得到对应结果1
2020-07-04 17:10:23
2107
原创 PyTorch的GPU训练方式学习
文章目录单机单卡单机多卡多机多卡 分布式训练torch.distributed 包支持单机单卡单机多卡torch.nn.DataParallel多机多卡 分布式训练torch.distributed 包支持分布训练包括 GPU 和 CPU 的分布式训练支持。Pytorch 分布式目前只支持 Linux。torch.distributed 分布式训练的优势：1.每个进程对应一个独立的训练过程，且只对梯度等少量数据进行信息交换。在每次迭代中，每个进程具有自己的 optimizer ，并独立
2020-07-04 16:59:53
981
原创 公司真题刷题记录Python
文章目录贪心算法贪心算法资源配置，收益最大化小Q的公司最近接到m个任务, 第i个任务需要xi的时间去完成, 难度等级为yi。小Q拥有n台机器, 每台机器最长工作时间zi, 机器等级wi。对于一个任务,它只能交由一台机器来完成, 如果安排给它的机器的最长工作时间小于任务需要的时间, 则不能完成,如果完成这个任务将获得200 * xi + 3 * yi收益。对于一台机器,它一天只能完成一个...
2020-06-18 12:06:46
528
原创 数据比赛代码记录
数据比赛里用写的代码，可快速应用到其他比赛使用库数据处理特征工程模型训练和预测使用库import pandas as pdimport numpy as npfrom sklearn.model_selection import StratifiedKFold #数据进行交叉验证的，模型选择时使用from lightgbm import LGBMClassifier#lightgbm做分类的模型from lightgbm import LGBMRegressor#lightgbm做回归预测fr
2020-05-29 20:58:51
195
原创 时间序列网络RNN，LSTM入门
文章目录RNNRNN解决问题示例：语句情感分析传统方法问题：长句子，参数过多 （改进：使用参数共享，每个单词的特征提取方式一致）没有上下句的语境信息 （改进：需要长期的记忆模块）改进的模型：h0h_0h0为初始化数据共享的参数：whhw_{hh}whh和wwhw_{wh}wwh；最后输出可以是最后的节点，也可以将所有的记忆节点综合输出，比较灵活。最后的实际模型为：其中：激活函数使用tanh()tanh()tanh()函数输出yty_tyt也可以将所有的hth_
2020-05-25 21:15:41
964
1
转载 BP网络的反向求导
推荐网络地址：https://blog.csdn.net/treasuresss/article/details/50809148
2020-05-08 19:42:09
157
原创 R-cnn目标检测系列阅读笔记
文章目录了解下R-CNN理解R-CNNFAST R-CNNFaster R-CNN-加速区域提案Mask R-CNN-扩展Faster R-CNN用于像素级分割了解下R-CNNR-CNN：区域CNN。主要论文：R-CNN: https://arxiv.org/abs/1311.2524Fast R-CNN: https://arxiv.org/abs/1504.08083Fa...
2020-04-20 00:55:15
1984
原创 YOLOv3论文翻译
文章目录摘要介绍解决方案效果如何我们尝试但没有作用的工作研究意义论文地址：https://arxiv.org/pdf/1804.02767.pdf摘要我们为YOLO提供一些更新!我们做了一些小的设计上的改变来使它更好。我们还培训了这个非常棒的新网络。它比上次大了一点，但更准确。不过还是很快的，别担心。在320×320 YOLOv3运行在22毫秒在28.2mAP，像SSD准确度，但是它的三倍的...
2020-04-15 11:29:40
309
原创 YOLOv2论文翻译
文章目录摘要简介怎样达到更好怎样达到更快怎样达到更稳健总结论文地址：https://arxiv.org/pdf/1612.08242.pdf题目：YOLO9000:Better, Faster, Stronger从题目可以看出，作者其实将第二代成为YOLO9000 实时目标检测系统摘要我们介绍了YOLO9000，这是一种先进的实时对象检测系统，可以检测9000多个对象类别。首先，我们建...
2020-04-15 11:29:04
260
原创 pyinstaller 将python程序打包为可执行文件exe
文章目录pyinstaller简介相关参数打包流程第一步，安装pyinstaller第二步，打开命令行，进入要打包的主程序目录下,在命令行中输入：第三步，执行打包命令规范说明常见问题1. RecursionError: maximum recursion depth exceeded2.双击程序 Failed to excute Script main3.文件打包后过大的问题防止反编译的问题py...
2020-03-30 11:43:18
371
原创 Python实现windows下模拟按键和鼠标点击和监控的方法
本文实例讲述了Python实现windows下模拟按键和鼠标点击的方法。分享给大家供大家参考。具体如下：这段代码可以模拟在窗口上按下按键、鼠标左键点击、鼠标右键点击、鼠标双击、鼠标移动，键盘输入等等。前提先要安装 pypiwin32pip install pypiwin32实现代码：# _*_ coding:UTF-8 _*_# 需要安装pypiwin32# 输入：pip i...
2020-03-18 23:31:01
2230
3
原创 Python打包环境方案 简化部署
文章目录requirement.txtconda创建打包环境进入创建环境并打包进入测试环境创建打包的环境在linux操作系统下，python项目的打包特别重要，如果是在开发测试，可以方便部署到正式的服务器，同时在正式的服务器中打包备份有着很好的数据安全的保护作用。是开始一个项目最开始考虑的，主要包括两种方式 pip和condarequirement.txtpip freeze >req...
2020-03-12 22:09:16
709
原创 Python从路径提取文件
几乎所有的关于操作系统的内容可以在python 官方文档中找到：https://docs.python.org/3/library/os.html#module-os关于操作系统的内容可以使用库：OSimport os其中os.path被单独列出：https://docs.python.org/3/library/os.path.html#module-os.pathfrom os im...
2020-03-12 16:27:52
349
原创 PyTorch入门,帮你构建自己的神经网络模型
文章目录张量 tensor自动求导神经网络的构建图像分类器（实战宝可梦）迁移学习数据并行处理 使用 GPUPytorch 综合评价:所以当前学pytorch 最合适，等待tensorflow 2的生态完善，Tensorflow1和2完全不兼容Pytorch 生态也比较完善功能：GPU加速自动求导： autugrad,grad函数神经网络：全连接层nn.linear，卷积层nn.co...
2020-03-07 16:51:16
915
原创 图像分类数据集制作 SVM/DNN
方法综述简单的图像分类可以采用HOG+SVM的算法，通过提取图像的HOG特征，然后特征通过SVM进行分类，实现图像的分类。下面将代码的步骤讲清楚提取HOG特征#一种自定义的方法def get_features(img): #腐蚀后 锐化 #腐蚀 im_gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#灰度图形 im=cv2...
2020-03-06 23:05:18
2178
原创 python爬取数据网站多网页数据
文章目录使用库requestsselenium代码示例使用库requests是用Python语言编写，基于urllib的HTTP库，满足HTTP测试需求安装：pip install requests函数功能发起HTTP请求,获得url对应的网页内容import requestsresponse = requests.get('https://www.baidu.com/')p...
2020-03-06 22:19:41
1893
DMSC(深度多模态子空间聚类基于Pytorch的实现)，融合方式为亲和融合，空间融合很容易也可以实现。
2021-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人