自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Haar-like特征计算和积分图详解

目录1. 前言2. Haar-like特征做检测的基本步骤3. Haar-like特征4. 积分图计算原理解析(一目了然)5. Haar-like特征值计算(积分图应用) 1. 前言 目前人脸检测的方法主要有两大类:基于知识和基于统计。 基于知识的方法:主要利用先验知识将人脸看作器官特征的组合,根...

2020-01-13 19:35:03

阅读数 30

评论数 0

原创 传统目标检测算法

文章目录传统目标检测算法Viola-Jones方法(人脸识别)Haar特征抽取训练人脸识别分类器(adaboost分类器)滑动窗口HOG + SVM (行人检测、opencv实现)HOG特征优点HOG特征提取算法的主要流程DPM(物体检测)DPM特征提取方法DPM描述子的检测过程非极大值抑制算法 ...

2019-12-22 17:20:42

阅读数 74

评论数 0

原创 动手深度学习Pytorch版--Task1--线性回归-softmax分类-多层感知机-模型选择和优化问题

文章目录线性回归算法实现的基本要素模型数据集损失函数优化函数 - 随机梯度下降softmax的基本概念分类问题权重矢量神经网络图类别输出问题小批量矢量计算表达式交叉熵损失函数多层感知机的基本知识隐藏层表达公式激活函数模型选择、过拟合和欠拟合训练误差和泛化误差模型选择验证数据集K折交叉验证过拟合和欠...

2020-02-15 11:17:10

阅读数 48

评论数 0

原创 四、图像增强系列------线性增强

文章目录线性增强基本算法python实现线性增强基本算法效果图如下分段线性变换python实现分段线性变换分段线性变换效果图线性增强统计量算法 线性增强基本算法 python实现线性增强基本算法 import cv2 as cv import numpy as np import matplotl...

2019-12-09 18:09:21

阅读数 43

评论数 0

原创 三、数字图像的卷积计算python实现

利用python实现数字图像的卷积 import cv2 import numpy as np import math import os import pandas as pd from tqdm import tqdm ### 首先将图片转化为灰度图像 image = cv2.imread(...

2019-12-09 17:52:16

阅读数 9

评论数 0

原创 SQL server建表操作

SQL server建表操作 利用代码创建数据表效率更高。。。 废话不多说,上代码 create table xsqk( 学号 char(6) NOT NULL primary key,--设置主键 姓名 char(8) NOT NULL unique, 性别 Bit NOT NULL check...

2019-12-03 21:58:48

阅读数 48

评论数 0

原创 SQL server简单查询和汇总查询

文章目录SQL server简单查询和汇总查询涉及单表的简单查询涉及单表的汇总查询 SQL server简单查询和汇总查询 难得自己写一次实验报告。 涉及单表的简单查询 a. 在KC表中,查询第2学期开课的课程、授课教师 b. 在XSQK表中,查询女同学的姓名和电话号码 c. 在XS_KC表中...

2019-12-03 21:52:32

阅读数 157

评论数 0

原创 CNN模型分析 | 4 Network In Network

ZFNet网络综述 前言 卷积神经网络(CNN)由卷积层和池化层交替组成。卷积层使用线性滤波器和底层receptive field做内积,然后接一个非线性的激活函数,得到的输出称作特征图(feature map)。 CNN的卷积滤波器是底层数据块的广义线性模型(generalized linea...

2019-12-02 20:14:36

阅读数 8

评论数 0

原创 图像处理中的卷积、池化、反卷积和反池化的理解与思考

文章目录卷积的理解池化的理解反卷积的理解反池化的理解 卷积的理解 关于卷积在二维离散图像的可视化理解: 对于卷积过程中各个变量的定义: 输入图像的尺寸为I 图像外围的0填充padding为p 卷积核的尺寸为k 卷积核移动的步长stride表示为s 输出图像表示为O 如上图所示,I = 5,p...

2019-12-01 15:08:35

阅读数 40

评论数 0

原创 CNN模型分析 | 3 ZFNet

文章目录ZFNet网络AlexNet网络的设计思想主要设计贡献ZFNet对AlexNet网络进行的调整ZFNet网络的核心架构反卷积和反池化 ZFNet网络 ZFNet,Matthew D Zeiler在2013年发表卷积网络模型 AlexNet网络的设计思想 主要设计贡献 可以理解为只是对Al...

2019-11-30 18:19:25

阅读数 16

评论数 0

原创 CNN模型 | 1 LeNet

前言最近几天闲得慌,然后突发奇想,决定整理最常用卷积神经网络,废话不多说,进入正题。 文章目录LeNet网络LeNet的设计思想LeNet网络的核心结构传统网络的全连接FCkeras实现LeNet网络PyTorch实现LeNet网络 LeNet网络 LeNet的设计思想 LeNet是在1998年由...

2019-11-30 15:52:32

阅读数 11

评论数 0

原创 二、图像二值化方法(python)---阈值全局固定、大津法

图像二值化也叫做图像阈值化处理,通过设定某个阈值为门限,把多灰度级的图像转化为仅仅有两个极端的灰度级(0和255)。 阈值全局固定 import cv2 import matplotlib.pyplot as plt import numpy as np import math import os...

2019-11-26 18:45:30

阅读数 96

评论数 0

原创 一、图像直方图显示(python)

图像处理中绘制图像直方图往往是观察和处理图像的利器之一。 直方图的观察方面的基本知识: 横坐标代表着灰度级、纵坐标是该灰度值在图像中出现的概率或者次数。 直方图的型态为斜态和峰态,斜态指的是直方图的不对称的程度,峰态表示的是直方图的分布在均值周围的集中程度。 直方图可以基本上反映出图像对比度...

2019-11-26 17:26:58

阅读数 124

评论数 0

原创 利用python实现对连续特征的分箱操作(数据离散化)

1. 数据分箱 1.1 等区间分箱 将连续变量的值进行获取,然后利用pandas的cut函数进行等区间分箱。 如下代码,获取值A2_values ,并等数值区间分为6类为[0,1,2,3,4,5]; (cut在操作时,统计了一维数组的最小、最大值,得到一个区间长度,因为需要划分6个区间) 1.2...

2019-11-25 11:53:11

阅读数 106

评论数 0

原创 常用python科学计算库汇总

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import lightgbm as lgb import xgboost as xgb import ca...

2019-11-16 10:41:19

阅读数 38

评论数 2

原创 类别特征的各种处理总结

持续更新。。。 文章目录one-hot(独热)编码为什么要独热编码?为什么特征向量要映射到欧式空间?独热编码优缺点什么情况下(不)用独热编码?什么情况下(不)需要归一化?one-hot编码为什么可以解决类别型数据的离散值问题Tree Model不太需要one-hot编码独热编码的编程实现Label...

2019-10-23 16:18:06

阅读数 64

评论数 0

原创 关于Pandas使用的一些查漏补缺

最近闲来无事,决定刷一刷kesci和鲸平台的一套关于pandas的一套练习题,这是我所见过学习和练习入门pandas的最佳资料,推荐各位初学者可以去刷一刷,相见恨晚呐! 资料链接: 这十套练习,教你如何使用Pandas做数据分析 . 练习一:步骤9 被下单数最多商品(item)是什么? 练习...

2019-10-23 10:48:15

阅读数 20

评论数 0

原创 类别变量赋予唯一的数字ID

为每个类别变量赋予唯一的数字ID sklearn.preprocessing.LabelEncoder的使用 from sklearn import preprocessing from sklearn.ensemble import GradientBoostingRegressor # fro...

2019-10-16 17:58:20

阅读数 8

评论数 0

原创 numpy中的np.where()函数

np.where(条件),若条件满足,返回索引值 np.where(条件,x,y),若条件满足,返回x,否则返回y

2019-10-09 11:38:49

阅读数 166

评论数 0

原创 利用pytorch实现多分类器

%matplotlib inline 训练分类器 就是这个。您已经了解了如何定义神经网络,计算损耗并更新网络权重。 现在你可能在想 数据怎么样? 通常,当您必须处理图像,文本,音频或视频数据时,您可以使用标准的python包将数据加载到numpy数组中。然后你可以将这个数组转换成一个torch....

2019-09-10 17:57:27

阅读数 70

评论数 0

原创 关于pytorch中torch.utils.data的认识

torch.utils.data class torch.utils.data.Dataset 表示Dataset的抽象类。 所有其他数据集都应该进行子类化。所有子类应该override__len__和__getitem__,前者提供了数据集的大小,后者支持整数索引,范围从0到len(self)...

2019-09-10 17:37:57

阅读数 167

评论数 0

原创 利用Pytorch复现ResNet34网络

根据残差网络的官方论文可知: ResNet34的计算图如下: 利用pytorch实现的代码如下: import numpy as np import torch import math # import torch import torchvision import torch.nn as nn...

2019-08-29 18:05:41

阅读数 69

评论数 0

转载 【lightgbm/xgboost/nn代码整理一】lightgbm做二分类,多分类以及回归任务

1. 简介 内心一直想把自己前一段时间写的代码整理一下,梳理一下知识点,方便以后查看,同时也方便和大家交流。希望我的分享能帮助到一些小白用户快速前进,也希望大家看到不足之处慷慨的指出,相互学习,快速成长。我将从三个部分介绍数据挖掘类比赛中常用的一些方法,分别是lightgbm、xgboost和ke...

2019-08-25 11:46:49

阅读数 1824

评论数 0

转载 【lightgbm/xgboost/nn代码整理二】xgboost做二分类,多分类以及回归任务

转载知乎专栏ML与DL成长之路,作者QLMX 链接https://zhuanlan.zhihu.com/p/76615507 1.简介 该部分是代码整理的第二部分,为了方便一些初学者调试代码,作者已将该部分代码打包成一个工程文件,包含简单的数据处理、xgboost配置、五折交叉训练和模型特征重...

2019-08-25 11:36:00

阅读数 572

评论数 0

原创 数据分析中常用的时间序列日期分割方法

提取出日期数据中的年月日 在数据分析任务中经常会遇到时间数据(比如20190825或者2019-08-25)那么该如何对数据中的年月日进行分离呢?

2019-08-25 11:17:12

阅读数 475

评论数 0

原创 可汗学院统计学(二)

6. 泊松分布 考虑这样一个问题:一个小时内经过某路口的车辆数的概率。由于车辆经过一个路口是一瞬间的事,因此,可以把这个问题看成:在n个瞬时中,有k个瞬时有车经过路口的概率。设车经过路口的概率为p,则这个问题是一个n趋近于无穷大时的二项分布问题。 假设已知泊松分布的期望为λ\lambdaλ。则E(...

2019-08-07 20:52:50

阅读数 84

评论数 0

原创 如何保存已经训练好的机器学习模型

机器学习中如何保存已经训练好的模型 当我们训练好一个model后,下次如果还想用这个model,我们就需要把这个model保存下来,下次直接导入就好了,不然每次都跑一遍。 sklearn官网提供了两种保存model的方法: 1.使用python自带的pickle from sklearn....

2019-08-07 15:22:17

阅读数 1543

评论数 0

原创 CNN模型分析 | 5 利用Pytorch复现VGG-16网络

利用Pytorch复现VGG-16网络: 根据吴恩达老师在深度学习课程中的讲解,AlexNet网络的基本流程为: 代码如下: import math import torch import torchvision import torch.nn as nn import torch.nn.fun...

2019-08-06 20:49:22

阅读数 307

评论数 0

原创 可汗学院学习总结(一)

1.总体(Population)与样本(Sample) 总体是研究对象的整体,通常数目很大,直接对总体进行分析费时费力。因此通过对总体进行抽样得到可以代表总体的样本。 一般都是采用样本估计总体的方式,毕竟总体数量太大,将总体可划分为训练集,验证集和测试集。 2.均值(mean) 令总体数为N,...

2019-08-05 21:00:45

阅读数 87

评论数 0

原创 Pandas中关于set_index和reset_index的用法

set_index DataFrame可以通过set_index方法,可以设置单索引和复合索引。 DataFrame.set_index(keys, drop=True, append=False, inplace=False, verify_integrity=False) append添加新索...

2019-08-05 15:57:27

阅读数 22

评论数 0

原创 在数据分析过程中对合并的训练集和测试集进行标记

一、对训练集和测试集进行标记后合并 df = pd.concat([train.assign(is_train = 1),test.assign(is_train = 0)]) #合并train和test,并且用is_train进行标记 这样做的好处是能够将合并后的数据集将训练集和测试集分开来进...

2019-08-03 19:40:01

阅读数 134

评论数 0

原创 itertools模块中的product方法

itertools.product(*iterables[, repeat]) 笛卡尔积 创建一个迭代器,生成表示item1,item2等中的项目的笛卡尔积的元组,repeat是一个关键字参数,指定重复生成序列的次数。 代码示例如下: import itertools a = (1, 2, 3) ...

2019-07-30 15:52:20

阅读数 14

评论数 0

原创 关于在数据建模中python库tqdm的使用

有时候跑循环处理大数据需要很长的时间,维持tqdm可以是一个监控器的作用,形成可视化的进度条,使用起来非常方便。 方法一: 方法二:

2019-07-30 10:41:33

阅读数 29

评论数 0

原创 时间序列的基本知识

1、时间图 对于时间序列数据而言,我们从最简单的时间图开始。时间图是用将观测值与观测时间点作图,散点之间用直线连接。例如图2.1表示在澳大利亚两个最大的城市之间,Ansett航空公司的每周客流量。 例如以下图形: 该时间图直观地展现出数据具有的一些特征: 由于1989年当地的工业纠纷,当年的客...

2019-07-27 17:58:48

阅读数 80

评论数 0

原创 Python Set intersection() 方法在数据分析的应用

1、首先进行方法介绍 1.1、描述 intersection() 方法用于返回两个或更多集合中都包含的元素,即交集。 1.2、语法 intersection() 方法语法: set.intersection(set1, set2 ... etc) 1.3、参数 set1 – 必需,要查找相同元素...

2019-07-23 19:32:17

阅读数 42

评论数 0

原创 Pandas删除/选取含有特定数值的行或列

Pandas是数据科学中的利器,你可能想到的数据处理骚操作,貌似用Pandas都能够实现,下面这部分在数据处理中往往用于删除异常值,或许还有其他用处,希望读者能够发现。 删除/选取某列含有特殊数值的行 删除/选取某行含有特殊数值的列 ...

2019-07-21 19:26:32

阅读数 288

评论数 0

原创 特征工程-------绘制特征图

方式一:利用xgboost进行训练模型,可以得出各个特征的重要性评分。 方式二:绘制皮卡尔相关系数图,找出各个特征之间的相关性

2019-07-20 09:42:25

阅读数 35

评论数 0

原创 数据处理过程中对于一列数据内容进行统一的分割为多列的操作

数据处理过程中对于一列数据内容进行统一的分割为多列的操作 由于 本人翻了好久,才想出来的办法,很多博客上只介绍了方法一,其实方法二往往更加强大,适用的场景更大。 方法一:利用python的split函数进行分割: 使用split利用数据中的规则标识符进行分割,如图所示: 方法二:切片法: 当我们...

2019-07-17 20:39:04

阅读数 38

评论数 0

原创 CNN模型 | 2 AlexNet

利用Pytorch复现AlexNet网络 根据吴恩达老师在深度学习课程中的讲解,AlexNet网络的基本流程为: 代码如下: import torch import torch.nn as nn import torch.nn.functional as F from torch.autogra...

2019-06-15 17:30:11

阅读数 353

评论数 0

原创 Pytorch学习教程(三)---------神经网络

%matplotlib inline 神经网络 可以使用torch.nn package构造进行构造神经网络。 刚刚我们简单介绍了autograd,nn依赖于autograd来定义模型并区分它们。一个nn.Module包括你定义的网络层和一个forward(input)方法,这个方法返回outp...

2019-06-14 09:01:58

阅读数 301

评论数 0

提示
确定要删除当前文章?
取消 删除