2019年03月_Jasminexjf

转载七种经典的排序算法

原文：http://wuchong.me/blog/2014/02/09/algorithm-sort-summary/经典排序算法在面试中占有很大的比重，也是基础，为了未雨绸缪，在寒假里整理并用Python实现了七大经典排序算法，包括冒泡排序，插入排序，选择排序，希尔排序，归并排序，快速排序，堆排序。希望能帮助到有需要的同学。之所以用Python实现，主要是因为它更接近伪代码，能用更少的代码...

2019-03-28 12:26:13 207

原创数据结构之数组和链表的区别

第一题便是数据结构中的数组和链表的区别数组(Array)一、数组特点：所谓数组，就是相同数据类型的元素按一定顺序排列的集合；数组的存储区间是连续的，占用内存比较大，故空间复杂的很大。但数组的二分查找时间复杂度小，都是O(1)；数组的特点是：查询简单，增加和删除困难；1.1 在内存中，数组是一块连续的区域1.2 数组需要预留空间在使用前需要提前申请所占内存的大小，...

2019-03-27 19:03:59 46563 10

原创降维相关的所有知识及相关python实现

一、降维和特征选择的区别降低维度的意义：维数灾难：在给定精度下，准确地对某些变量的函数进行估计，所需样本量会随着样本维数的增加而呈指数形式增长。降维的意义：克服维数灾难，获取本质特征，节省存储空间，去除无用噪声，实现数据可视化，减少过拟合之前没有详细了解之前，一直觉得降维和特征选择是一样的，因为他们的最终结果都是减少维度；但是这两者在本质上是不一样的。By onl...

2019-03-25 21:49:28 1210

原创异常检测——基于Autoencoder的反欺诈数据集的异常检测

Autoencoder算法是一种常见的基于神经网络的无监督学习降维方法（其他常见降维方法）。本教程中，我们利用python keras实现Autoencoder，并在信用卡欺诈数据集上进行异常检测算法。1. Autoencoder简介Autoencoder，中文称作自编码器，是一种无监督式学习模型。本质上它使用了一个神经网络来产生一个高维输入的低维表示。Autoencoder与主成分分...

2019-03-21 18:25:42 12544 10

原创 python监控计算机使用情况-CPU、内存、磁盘、网络

该项目是在需求：需要计算机监控数据的需求下，查找资料实现对自己计算机的使用情况的监控。返回的结果包含：时间-CPU使用率-内存使用率-C盘使用率-D盘使用率-E盘使用率-网络流量接的量(MB))-网络流量发送的量(MB))# -*- coding: utf-8 -*-import psutilimport datetimefrom xlrd import open_workbook...

2019-03-21 17:01:20 4896

原创 sklearn中的评价指标介绍(异常检测过程记录)

模型评估评价指标Evaluation metrics分类评价指标 1 准确率 2 平均准确率 3 对数损失Log-loss 4 基于混淆矩阵的评估度量 41 混淆矩阵 42 精确率Precision 43 召回率Recall 44 F1-score 5 AUCArea under the ...

2019-03-20 10:34:19 5382

原创基于时间序列的异常检测算法小结

最近在学习基于时间序列的异常检测算法，看到一篇好文，原文博客地址：http://blog.rexking6.top/2018/11/05/基于时间序列的异常检测/以下是相应的知识：简介搜罗了网上几乎所有的基于时间序列的异常检测方法，没有包括文献，整理记录一下。综合引用以下文章：数据挖掘导论时间序列异常检测机制的研究 KPI异常检测竞赛笔记异常检测之时间序列的异常检测...

2019-03-13 11:21:56 52803 10

转载 NER学习系列之-BILSTM+CRF

做了一段时间的Sequence Labeling的工作，发现在NER任务上面，很多论文都采用LSTM-CRFs的结构。CRF在最后一层应用进来可以考虑到概率最大的最优label路径，可以提高指标。一般的深度学习框架是没有CRF layer的，需要手动实现。最近在学习PyTorch，里面有一个Bi-LSTM-CRF的tutorial实现。不得不说PyTorch的tutorial真是太良心了，基本...

2019-03-11 20:18:06 2363

转载 numpy之python二维数组及画图

1.二维数组取值注：不管是二维数组，还是一维数组，数组里的数据类型要一模一样，即若是数值型，全为数值型#二维数组import numpy as nplist1=[[1.73,1.68,1.71,1.89,1.78], [54.4,59.2,63.6,88.4,68.7]]list3=[1.73,1.68,1.71,1.89,1.78]list4=[54.4,59.2,...

2019-03-10 12:52:22 17923

原创异常点检测系列之IsolationForest 算法及其实现

"An outlier is an observation which deviates so much from other observations as to arouse suspicions that it was generated by a different mechanism." 异常检测 (anomaly detection)，或者又被称为“离群点检测” (o...

2019-03-06 18:48:42 1752 1

原创异常点检测系列之基于密度的局部异常因子算法(LOF)及相应实现

局部异常因子算法-Local Outlier Factor(LOF)在数据挖掘方面，经常需要在做特征工程和模型训练之前对数据进行清洗，剔除无效数据和异常数据。异常检测也是数据挖掘的一个方向，用于反作弊、伪基站、金融诈骗等领域。异常检测方法，针对不同的数据形式，有不同的实现方法。常用的有基于分布的方法，在上、下α分位点之外的值认为是异常值（例如图1），对于属性值常用此类方法。基于距离的方法，适...

2019-03-06 16:17:03 6605

转载异常点检测系列二之介绍

先附上一个相关的博客链接：史上最全异常检测算法概述在数据库中包含着少数的数据对象，它们与数据的一般行为或特征不一致，这些数据对象叫做异常点 (Outlier) ，也叫做孤立点。异常点的检测和分析是一种十分重要的数据挖掘类型，被称之为异常点挖掘[28 ]。对于异常数据的挖掘主要是使用偏差检测，在数学意义上，偏差是指分类中的反常实例、不满足规则的特例，或者观测结果与模型预测值不一致...

2019-03-06 12:13:06 1228

原创异常点检测系列一之介绍

异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法，这里就对异常点检测算法做一个总结。1.异常点检测算法使用场景什么时候我们需要异常点检测算法呢？常见的有三种情况。一是在做特征工程的时候需要对异常的数据做过滤，防止对归一化等处理的结果产生影响。二是对没有标记输出的特征数据做...

2019-03-06 11:16:04 1376

Jasminexjf的博客