- 博客(916)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 spark介绍
MapReduce API只有Map和Reduce两个算子，较为底层，算法适应性差（只能按照Map+Reduce的结构编写）海量数据的批处理（内存迭代计算、交互式计算）任务以线程方式维护，任务启动块。中间计算结果在内存中，延迟小。任务可批量创建，并行能力高。
2023-06-02 22:26:44
433
原创 Hadoop 原理介绍
Yet Another Resource Negotiator，另一种资源协调者另一种Hadoop资源管理器资源指的是集群的硬件资源：比如内存、CPU等【磁盘不归YARN管，由HDFS管】为上层应用提供统一的资源管理和调度不仅支持MapReduce，理论上支持各种计算程序（比如Spark）——>通用、可迁移。
2023-06-01 07:57:24
344
原创 数据集：T-Drive（北京出租车轨迹数据）
数据集包含了2008年2月2日至2月8日期间在北京市内的10,357辆出租车的GPS轨迹。总共包含约1500万个GPS点，轨迹总里程达到了900万公里。图1显示了两个连续点之间的时间间隔和距离间隔的分布情况。平均采样间隔约为177秒，平均距离为623米。该数据集的每个文件以出租车ID命名，每个文件包含了一辆出租车的轨迹数据。图2可视化了该数据集中GPS点的密度分布情况。
2023-05-30 11:28:58
597
原创 论文笔记：Graph neural networks: A review of methods and applications
之后论文介绍了几种经典的谱域卷积方法，来研究不同的gw 是L最大的特征值 中的特征值是[-1,1] 此时的参数是（切比雪夫多项式的参数） 切比雪夫多项式 此时只剩两个参数w0和w1GCN进一步简化参数量，使得w0=-w1，于是公式 (
2023-05-28 17:49:28
822
原创 计算机笔记：Jupyter 配置R语言
在系统变量中新建一个变量，取名为R_LIBS_USER，变量值就是上面的那个downloaded_package的路径。在命令行中cd到 下载的R语言环境的 bin文件夹中，进入R页面。安装完成，重新打开jupyter notebook，就有R环境了。安装IRkernel的时候， 最终会出现这样的两行文字。最后在cmd中输入一行命令。
2023-05-25 13:42:23
21
原创 数据集目录
1 交通相关数据集1.1 轨迹数据数据集：深圳ETC数据（OD数据、轨迹数据）_UQI-LIUWJ的博客-CSDN博客 OD数据 轨迹数据 手机信令数据+轨迹数据 1.2 速度数据数据集笔记：Uber Movement （Speed）【python 处理数据集至时空矩阵】_UQI-LIUWJ的博客-CSDN博客 时间序列时空矩阵
2023-05-24 11:05:31
18
原创 论文笔记： Trajectory Clustering: A Partition-and-Group Framework
输入一组轨迹一条轨迹是一组点的集合，其中每一个点pj是一个d维的点（坐标），leni是这条轨迹的长度（点的数量）轨迹TRi的一条子轨迹是输出：一组线段聚类和每个线段聚类Ci的代表性轨迹一个cluster中是一组轨迹分段一个轨迹分段是一条线段,其中pi和pj都是从同一条轨迹中选择的点一条轨迹中的轨迹分段可能属于不同的多个聚类。
2023-05-23 15:02:10
353
原创 数据集：深圳ETC数据（OD数据、轨迹数据）
广东省一天的ETC交易样本包括起点、终点、起点时间、终点时间和车牌号。1,531,863辆车辆和2,515,672条记录。深圳市一天的电动出租车GPS样本包括车辆ID、经度、纬度、时间和速度。总共有664辆电动出租车和1,155,654个GPS记录。
2023-05-23 13:32:46
21
原创 论文笔记：L2MM: Learning to Map Matching with Deep Models for Low-Quality GPS Trajectory Data
基于点的轨迹每个pi点表示一个GPS点，其中表示经纬度和时间采样间隔Δt不一定恒定，以30s的采样间隔为界，分为低采样率和高采样率基于网格的轨迹基于网格的轨迹对GPS信号导致的位置噪声更鲁棒路网基于路段的轨迹由一个路网中的点相连。
2023-05-17 22:27:26
38
1
原创 论文笔记：基于手机位置信息的地图匹配算法
2015计算机应用整体思路和很像，也是应用HMM进行地图匹配状态转移矩阵均值都是0，唯一不同的是ST-matching的标准差使用的是20，这里使用的是。
2023-05-15 13:54:12
337
原创 论文笔记：From driving trajectories to driving paths: a survey on map‑matching Algorithms
常见的距离函数包括Hausdorff距离、Fréchet距离和DTW距离Hausdorff距离不区分点的顺序——>可能返回不合理的匹配路径Fréchet距离考虑了点的顺序，可以返回一个更合理的路径传统的Fréchet距离函数返回两条连续曲线之间的最远距离对于低频轨迹，离散的Fréchet距离更广泛地应用DTW距离通过计算累积距离来减少噪声干扰除了距离函数，还有基于不同优化算法提出的其他自定义相似度函数。
2023-05-13 15:18:59
27
1
原创 论文笔记：High-performance spatiotemporal trajectory matching across heterogeneous data sources
北大地空2019 Future Generation Computer Systems。
2023-05-11 17:45:14
80
1
原创 论文笔记：路网匹配算法综述
手机数据一般非常稀疏且噪声较大SnapNet系统使用增量HMM算法为具有噪声和稀疏性特征的粗粒度蜂窝数据提供实时地图匹配运用一系列的过滤器和一些启发式方法来减少噪声利用插补解决数据稀疏问题总结并比较了一些利用手机数据进行路网匹配的方法提出了一种基于自适应HMM的模型,使用大量移动数据来学习模型参数,利用数据的稀疏性来提供实时快速维特比处理,将各个手机轨迹映射到道路段该模型首次单独使用手机大数据进行细粒度路网匹配.
2023-04-27 15:26:38
586
原创 论文笔记：Hidden Markov Map MatchingThrough Noise and Sparseness
和同一年的ST-matching很类似，也是使用HMM来进行路网匹配论文笔记：Map-Matching for low-sampling-rate GPS trajectories（ST-matching）_UQI-LIUWJ的博客-CSDN博客HMMM（本文）状态转移矩阵观测概率矩阵正态分布均值都是0，唯一不同的是ST-matching的标准差使用的是20，这里使用的是。
2023-04-26 21:58:40
414
1
原创 论文笔记：An Interactive-Voting Based Map Matching Algorithm
ST-MATCHING的基础上进行的路网匹配
2023-04-26 17:01:42
386
原创 论文笔记：Map-Matching for low-sampling-rate GPS trajectories（ST-matching）
给定未加工的 GPS 轨迹 T 和路网 G(V,E),从 G 中寻找路径 P（实际路径匹配轨 迹 ）如果没有N(cj)的话，那么为了Fs越大越好，||ci-cj||越小越好，最后就会选择距离。记轨迹中的采样点个数为n、路网中路段个数为m，每个采样点最多有k个候选点。结合了观测概率【几何信息】和传递概率【拓扑信息】每一个点找到这样的一个候选点集合，得到候选点图。绿色+蓝色是GPS轨迹，红色是用户的实际轨迹。之间的真实路径是ci到cj最短路径的可能性。这时候就需要时间传递概率（速度传递概率）
2023-04-26 13:50:25
490
原创 pandas 笔记：tseries.frequencies.to_offset
将 string或者datatime.timedelta的内容转换成DateOffset。
2023-04-21 10:54:48
36
原创 pandas笔记：pandas 排序 （sort_values)
如果by是一组string组成的list，那么ascending可以是一个布尔型的变量，或者一组布尔型变量组成的list【分别对应by每个元素是正序还是倒序】先按照sepal.length排序，sepal.length相同时按照sepal.width排序。string或者一组string组成的list，根据什么进行排序。把NaN放在开头还是结尾。
2023-04-18 19:51:17
272
原创 GeoDataFrame 应用：公园分布映射至subzone
我们又知道新加坡的subzone信息：我们希望生成一个 dataframe，表示每一个subzone有几个monument。
2023-04-18 13:47:11
121
原创 论文笔记：PyTrack: A Map-Matching-Based Python Toolbox for Vehicle Trajectory Reconstruction
地图匹配算法涉及将记录的地理坐标（例如GPS数据）与底层的空间道路网络进行对齐，以确定车辆所在的正确道路路径。如图1所示，地图匹配算法试图找到车辆形式的路径序列{e1，e2，......，en}。地图匹配过程并不是完全没有误差的。复杂的道路拓扑结构，地图和数据的误差以及数据稀疏性可能会产生不同级别的歧义。
2023-04-13 15:15:40
112
1
原创 python笔记：PyGWalker （鼠标拖拽生成figure）
在Jupyter Notebook中将pandas dataframe或者polars dataframe数据转换成类似Tableau的用户界面（Tableau-style），通过鼠标拖拽数据完成数据探索。如果dark='dark'
2023-04-13 11:40:00
67
原创 论文笔记：Spatial-Temporal Similarity for Trajectories with Location Noise and Sporadic Sampling
衡量，并且这些轨迹数据是有问题。
2023-04-12 22:10:13
22
原创 matplotlib 笔记：subplot之间间距拉开
使用matplotlib的subplot时，由于默认间距不大，所以可能导致出的图会挤在一起。
2023-04-12 11:35:20
380
network embedding lecture slide
2023-01-01
python 实现 cmaes （调用方便）
2022-02-13
ASTGCN(AAAI 2019).pdf
2021-08-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人