shine302的博客

原创 Table of blog contents

本博客旨在分享大数据领域的两部分部分知识：理论与工具。特别地，本博客重点关注轨迹挖掘的理论与应用。（需要说明的是，本人在博客分享的过程中，参考了很多论文、书籍、资料等等。为了方便更新博客，在此将相关参考文献一并给出）1）理论知识：                    数据挖掘系列                    机器学习系列                     深度学习系列2）基础工具...

原创 数学-统计-距-四分位数、箱线图、方差、标准差、标准分（Z分布）

上下四分位数

原创 英文写作- Response to reviewers

转https://github.com/javism/responsereviewers

原创 轨迹格式转换（将轨迹转化为图）

将轨迹转化为图的核心是如何定义点和边。方法可以分为两类：一种使用了路网，另一种没有使用路网1）使用了路网：第一种方法：第一步：将轨迹转化为路网第二步：根据轨迹的速度、交通量计算每条边的权重第三步：基于带有权重的图，发现相似路径、最受欢迎的路径、检测交通异常、更新路网第二种方法：构建一个landmark 蓝色是高频点，红色是高频线第三种方法：构建一个region graph将城市分为候选活动区域每个...

原创 Matlab——折线图

% abc = [2,4,6,8,10,12,14,16];% cba = [7.15,7.15,16.375,24.15,30.3,564,2256,10156];abc = [2,4,6,8,10];cba = [7.15,16.375,24.15,30.3,564];% Create the pie chart in position 1 of a 2x2 gridfigure% Creat...

原创 Spark——application、job、stage、task之间的关系

Application：通俗讲，用户每次提交的所有的代码为一个application。Job：一个application可以分为多个job。如何划分job？通俗讲，出发一个final RDD的实际计算为一个jobStage：一个job可以分为多个stage。根据一个job中的RDD的依赖关系进行划分Task：task是最小的基本的计算单位。一般是一个块为一个task，大约是128M...

原创 Intellij IDEA设置显示行号

原创 Scala 内建控制对象（if、while、for、异常、match、beak）

if表达式：与其他语言无区别while表达式：var line = ""while((line = readLine()) != ""){}本质为（unit ！= String）因此循环永远无法执行。使用var和while是指令式的编程方式。可以将while转换为递归的形式。  // 函数式编程while（用递归代替）   def gcd(x : Long , y : Long) : Long =...

原创 Scala——类的定义、重新实现toString方法、检查先决条件、添加字段、私有方法、自指向、辅助构造器、操作符、重载、隐式转换

1 类的定义/** * Created by jiaoshuhai on 2018/4/23. *///类的创建class Rational(n:Int,d:Int){//类参数，oject无参数  //检察先决条件  require(d != 0)  private def gcd(a : Int ,b :Int) : Int =    if(b == 0) a else gcd(b , a %...

原创 轨迹数据管理（轨迹索引与查询）

轨迹查询主要两类，一种是top最近查询，另一种是范围查询。范围查询：一个时间段、一个区域3种方法可以用来范围查询：1）建立3D-Rtree。2）将时间切段3）将空间分格4） 希尔伯特曲线topK查询后缀树的思想...

原创 轨迹挖掘——轨迹模式挖掘

从一条轨迹或者从一组轨迹中挖掘出行模式可以分为四类：1）共同移动模式2）轨迹聚类3）时序模式4）周期性的模式1）共同移动模式flock（群）：在一个小的固定形状的区域内，多个目标连续k个时间戳同时移动。由于事先定义的形状不太能确定，因此会出现损群问题。convoy（护卫，车队）任意形状，通过密度来确定一个区域swarm（大群）：上面两个都必须要求是连续的，这个算法是要求不是连续的。，traveli...