- 博客(9)
- 收藏
- 关注
RSS订阅原创 CUDA中Unified Memory函数cudaMallocManaged的使用
Unified Memory是啥参见其他博主文章，主要就是简化代码，不需要各种cudamalloc和cudamemcpy。cuda_runtime_api.h中的接口：extern host cudart_builtin cudaError_t CUDARTAPI cudaMallocManaged(void **devPtr, size_t size, unsigned int flags __dv(cudaMemAttachGlobal));一般传前两个参数即可。传指针时先在C代码中malloc，
2021-11-12 14:35:35
4414
原创 safegraph数据预处理（五）：pandas选取需要的数据并用边集数组+边权重的方式保存图数据
根据2020年nature上发表的论文《Mobility network models of COVID-19explain inequities and inform reopening》其中的内容，借鉴其构建二部图的思路。需要两个字典dist_placekey和dist_cbg，将placekey作为V_poi的唯一标识，将cbg作为V_cbg的唯一标识，cbg->poi的人数作为边的权重。数据处理的关键在于visitor_daytime_cbgs。可能需要两种边，第一种visitor_ho
2021-02-02 02:45:03
610
5
原创 safegraph数据预处理（四）：按照美国前十大都会区进行分组
由于无法找到合适的都会区分组数据，故暂时搁置，直接进行下一步，根据POI和CBG组合二部图
2021-02-01 07:39:46
275
1
原创 safegraph数据预处理（三）：将csv文件按指定字段不同的值进行拆分
将Nin1.csv按region不同的值进行拆分，保存为xxx-region.csv，经验证全部55个子文件大小之和等于父文件的大小。import pandas as pdimport time# fileLocation='D:/2020-06-08-weekly-patterns.csv'# fileLocation='D:/baidu_netdisk/safegraph/weeklyPlacesPatterns/patterns_backfill/2020/12/14/21/2020/06/0
2021-02-01 05:41:12
418
原创 safegraph数据预处理（二）：将指定文件夹内的.csv文件合并
将weekly-pattern-2020-12-14-backfill中的，指定文件夹内的xxx-partx.csv合并。import pandas as pdimport osfile_dir = 'D:/baidu_netdisk/safegraph/weeklyPlacesPatterns/patterns_backfill/2020/12/14/21/2020/06/08'csv_list =[]# 将该文件夹下的所有文件名存入列表files = os.listdir(file_di
2021-02-01 04:39:38
314
原创 safegraph数据清洗-2020-06-08-weekly-patterns.csv
以2020-06-08-weekly-patterns.csv为例：文件大小4.37GB，内容时间段20200608-20200615。共25个字段，上百万条数据，正常环境下使用python的pandas加载需要60秒以上。使用sublime text3打开体感需要20秒~40秒。使用WPS加载体感需要40秒以上，并且打开多个类似大小或几十万条数据的csv时，WPS会无法成功打开，并且向下滚动滚轮会卡屏。使用MySQL数据库服务的话，数据库装在笔记本上，使用标准配置，即按照开发环境配置数据库，数据
2021-01-31 19:44:30
544
1
原创 graphsage：example_supervised.sh在docker中运行
由于直接使用linux自带的python2.7和pip无法直接运行supervised.sh故本文介绍如何解决这个问题问题：root@862cbef0b220:/notebooks# sh example_supervised.sh/usr/local/lib/python2.7/dist-packages/h5py/__init__.py:34: FutureWarning: Conversion of the second argument of issubdtype from `floa
2021-01-30 20:28:24
261
1
原创 graphsage：example_unsupervised.sh在docker中运行
GraphSAGE项目github代码跑通下载项目https://github.com/xslwyz/GraphSAGE安装docker将GraphSAGE项目拷贝到linux中并且将项目根目录.sh文件中的内容做如下修改#example_supervised.shpython -m graphsage.supervised_train --train_prefix ./example_data/toy-ppi --model graphsage_mean --sigmoid#exampl
2021-01-30 17:57:37
243
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人