- 博客(10)
- 收藏
- 关注
RSS订阅原创 孤立森林---2--使用Scikit learn实现
Some Notions(算法中使用到的一些符号说明)Training Stage （训练阶段包含算法1和算法2）算法1：iForest(X,t,ψ)iForest(X,t,\psi)iForest(X,t,ψ)构建孤立森林，X表示我们的总数据， t 表示孤立森林中设置的树的棵数，ψ\psiψ表示构建一棵树，我们从总数据X中选取的随机样本个数算法1：iTree(X′)iTree(X')i...
2019-11-26 10:13:43
2277
原创 孤立森林---1-算法初探
孤立森林(Isolation Forest)先简单解释一下什么是孤立森林为什么叫孤立？“孤立”(isolation)指的是“把异常点从所有样本中孤立出来”为什么叫森林？孤立森林是由N个树构成的。每棵树的的学习过程非常随机：它会随机抽取特征、随机选取分割值来建立决策树，从而将每一个样本分到一个独立的子节点上（取值相同的样本视为同一个样本）。这样我们就得到了N个（基本）不相同的树。从超空...
2019-11-20 20:08:39
588
2
原创 Driver Model
下面给出每个特征函数的具体形式。状态特征状态特征是在忽略其他采样点影响的前提下，仅从空间位置关系的角度，衡量当前采样点匹配某条候选路段的可能性。根据文献[19,20,22]；GPS 的采样误差服从高斯分布N(0,s^2)，这点也符合直觉，即离采样点越近的路段与之相匹配的可能性越大。因此状态特征定义为：φ(rm(t),o(t))=12πσexp(−dp2(rm(t),o(t))2σ2)\...
2019-11-15 20:45:32
522
原创 张量分解
张量分解从本质上来说是矩阵分解的高阶泛化。对矩阵分解有所了解的读者可能知道，矩阵分解有三个很明显的用途，即降维处理、缺失数据填补（或者说成“稀疏数据填补”）和隐性关系挖掘，其实张量分解也能够很好地满足这些用途。在介绍张量分解前，我们先看看矩阵分解相关知识概念。矩阵补全（Matrix Completion）矩阵补全（Matrix Completion）目的是为了估计矩阵中缺失的部分（不可观察的...
2019-11-15 09:35:29
4238
原创 基于似然比检验统计量的异常轨迹检测
为挖掘道路交通流中的异常模式,辅助判定路网中发生的非预期事件,Pang 等人[68]提出了带参数的基于似然比检验统计量的异常检测方法,识别明显偏离期望行为的邻近网格单元集以及时段区域.首先统计一定时间内各网格到达的车辆数,根据用户特定的随机似然函数,对网格中的所有矩形区域进行 LRT 测试并排序,返回与期望行为有最大统计差异,即最高分值所在的少数矩形区域作为异常.该方法提供了用于发现持续异常以...
2019-11-14 10:27:19
2073
原创 条件随机场
条件随机场至此，已获取每个GPS观测点的候选投影点集合(一个GPS观测点可能产生多个候选点)以及每两个相邻GPS观测点的候选路径集合（相邻两个GPS观测点之间的候选路径可能有多条）但是在对一个GPS观测点进行匹配计算时，假如只考虑前后两个相邻GPS观测点，匹配计算的准确性可能不高。接下来，把车辆行驶过程中释放的GPS观测点用条件随机场模型进行处理，以提高匹配计算的准确性。条件随机场是...
2019-11-13 20:02:08
158
原创 GPS Snippets
GPS轨迹数据的缺点目前智能手机都集成有GPS芯片，能够间隔一定时间（例如1s）采集一次GPS定位信息， 该信息包括GPS横纵坐标，精度，速度，在各方向加速度等信息，因为采集周期较短，持续时间较长，故在用户量较大的应用中，该数据的规模会非常大，但也是最丰富的采集数据之一。而且该数据是对用户在物理世界时间空间最直接的描述，所以能够挖掘的信息非常丰富。但问题来了，GPS点采集的时候因为卫星信号的强...
2019-11-13 09:42:35
856
原创 使用 pip install 安装不了包时，可以先用 anaconda 的 Prompt 先搜索要安装的包
1. anaconda search -t conda matplotlib（matplotlib是包名）2. conda show Alges/matplotlib3. conda install --channel https://conda.anaconda.org/Alges matplotlib
2019-11-08 20:40:01
683
原创 数据类别1：结构化数据与非结构化数据的区别
结构化数据结构化数据是数据的数据库。（即，行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)我们可以清楚的看到能够形式化存储在数据库中，每一个列都有具体的含义。如下图所示：非结构化数据非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等非结构数据与结构化数据相比较而言，更难让计算机理解。如下图：参考吴恩达老师deep...
2019-11-08 10:29:08
5321
2
原创 Anomaly Detection with partially Observed Anomalies论文笔记
Anomaly Detection with partially Observed Anomalies论文笔记标签（空格分隔）： 异常检测通过比较引出论文提出的方法PU（positive and Unlabled）learning如果我们把异常视为这里的Positive Sample，那么PU learning这一概念就会和本论文中将要介绍的Anomaly Detection with...
2019-11-02 21:23:29
1159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人