libcity笔记：详细流程（以DeepMove为例）

UQI-LIUWJ

已于 2024-05-11 21:26:23 修改

阅读量441

点赞数 5

分类专栏： python库整理文章标签：笔记

于 2024-05-07 10:31:18 首次发布

本文链接：https://blog.csdn.net/qq_40206371/article/details/138491796

版权

python库整理专栏收录该内容

326 篇文章 48 订阅

订阅专栏

0 前置操作

这边我选择了gowalla的前1000条数据做例子：

0.1 生成样例dyna

import pandas as pd
geo=pd.read_csv('/home_nfs/liushuai/Bigscity-LibCity/raw_data/gowalla_test/gowalla.dyna')

geo_tst=geo.iloc[:1000,:]
geo_tst

geo_tst.to_csv('/home_nfs/liushuai/Bigscity-LibCity/raw_data/gowalla_test/gowalla.dyna', index=False)

0.2 生成相应geo

geo=pd.read_csv('/home_nfs/liushuai/Bigscity-LibCity/raw_data/gowalla/gowalla.geo')
geo=geo[geo['geo_id'].isin(set(geo_tst.location))]
geo.to_csv('/home_nfs/liushuai/Bigscity-LibCity/raw_data/gowalla_test/gowalla.geo')

0.3 修改libcity/config/task_config.json

1 主调用

 python run_model.py --task traj_loc_pred --model DeepMove --dataset gowalla --batch_size=5

有task、dataset、model三个必须命令行参数
batch_size一个可选命令行参数
没有confg_file

加载所有参数

1.1 libcity/utils/argument_list.py/str2bool

将字符串表示的布尔值转换为 Python 中的布尔值。
- 首先检查输入的参数是否已经是布尔值类型，如果是，则直接返回该值，无需转换。
- if s.lower() in ('yes', 'true'):：检查字符串是否是 'yes' 或 'true'，如果是，则返回 True。
- elif s.lower() in ('no', 'false'):：检查字符串是否是 'no' 或 'false'，如果是，则返回 False。
- else:：如果字符串既不是 'yes'/'true' 也不是 'no'/'false'，则抛出 argparse.ArgumentTypeError 异常，表示期望一个布尔值。

1.2 libcity/utils/argument_list.py/add_general_args

2 libcity/pipeline/pipeline.py/run_model

2.1 libcity/config/config_parser.py/ConfigParser

然后连着两行logger.info

2.3 set_random_seed

libcity笔记：libcity/utils/utils.py-CSDN博客

2.4 get_dataset

libcity 笔记：libcity/data/utils.py-CSDN博客

得到相应的TrajectoryDataset

得到dataset_cache和cut_traj的json文件，缓存处理的轨迹数据

2.5 dataset.get_data()

2.5.1 cutter_filter

由于之前没有dataset_cache和cut_traj的缓存json文件，先调用cuttter_filter【 cut_data = self.cutter_filter()】
- 得到的结果，是一个字典，key是user_id，value是一系列二维数组组成的列表，每个二维数组的每一行是“dyna_id type time entity_id location”

2.5.2 encode_traj

【encoded_data = self.encode_traj(cut_data)】
- {
  'data_feature': self.encoder.data_feature,
  'pad_item': self.encoder.pad_item,
  'encoded_data': encoded_data
  }的一个字典，其中：

2.5.2 divide_data

train_data, eval_data, test_data = self.divide_data()
- 其中每一个元素也就是

2.5.3 generate_dataloader_pad

传入的参数
- train_data, eval_data, test_data
- self.encoder.feature_dict,
- self.config['batch_size'],
- self.config['num_workers'],
- self.pad_item,
- self.encoder.feature_max_len
  - 没有设置，就是默认的{}
libcity 笔记：libcity/data/utils.py-CSDN博客