qq_40206371的博客

原创 数据集笔记： FourSquare - NYC and Tokyo Check-ins

【代码】数据集笔记： FourSquare - NYC and Tokyo Check-ins。

原创 论文笔记：Large Language Models are Zero-Shot Next LocationPredictors

下一个地点预测通常定义为根据个体的历史移动轨迹预测其下一个将访问的地点的问题，这些轨迹通常表示为时空轨迹（轨迹）时空点 p = (t, l) 是一个元组，其中 t 表示时间戳，l 表示地理位置。轨迹 P = p1, p2, ..., pn 是个体访问的 n 个时空点的时间有序序列根据 DeepMove的方法筛选轨迹筛选出记录少于 10 条的用户选择了 72 小时的间隔作为区分不同轨迹的阈值任何拥有少于五条轨迹的用户都被排除在分析之外。

原创 Libcity笔记：strnn_encoder.py

所以对于 STRNN来说，它的eval_data的每个元素是：

原创 论文笔记：Human Mobility Prediction Challenge: Next LocationPrediction using Spatiotemporal BERT

在这个挑战中，提供了一个覆盖75天、涵盖10万个个体的主要都市区的流动性数据集。目标区域被细分为500米 × 500米的单元，构成一个200 × 200的网格。个体移动以30分钟间隔和500米的网格单元进行离散化任务1涉及使用80,000个个体的75天流动数据和20,000个目标个体的60天数据来预测剩余的15天流动轨迹任务2要求使用60天的日常活动流动数据、15天的紧急流动数据和22,500个个体的60天日常活动流动数据，为2,500个目标个体预测剩余的15天紧急流动轨迹用户ID。

原创 论文笔记：Cell-Level Trajectory Prediction Using Time-embeddedEncoder-Decoder Network

首先将原始收集的轨迹数据分段，形成单元级轨迹。

原创 算法笔记：空间填充曲线

六次迭代的希尔伯特曲线：

原创 pandas 笔记crosstab

用来计算两个（或更多）因子的交叉表（即频率表、列联表或透视表）。这个功能特别适用于统计分析和数据探索阶段，帮助理解不同变量之间的关系。

原创 论文笔记：OneBit: Towards Extremely Low-bit Large Language Models

202402 arxiv

原创 数据集笔记：获取西安乡镇边界

我是从公众号上找到的乡镇边界数据。

原创 html笔记：刨析一个实验室主页：people.html

原创 html笔记：刨析一个实验室主页模板(index.html)

1 index.html

原创 pytorch笔记：BatchNorm1d

用于 running_mean 和 running_var 计算的值。可设置为 None，表示累积移动平均（即简单平均）。对2D或3D输入应用批量归一化。

原创 论文辅助笔记/数据记笔记：SynMob

对于行程轨迹，每个样本表示为一系列连续采样的GPS点，分别记录经度和纬度。

原创 论文笔记：When LLMs Meet Cunning Questions: A Fallacy Understanding Benchmark for Large Language Models

弱智吧benchmark。

原创 trackintel笔记：读取csv

以{‘旧名称’:‘trackintel标准名称’}格式重命名列名。此函数需要的列包括：“user_id”、“tracked_at”、“latitude”和“longitude”pyproj.crs或字符串, 可选设置坐标参考系。该值可以是pyproj.CRS.from_user_input()接受的任何内容，例如权威字符串（如‘EPSG:4326’）或WKT字符串。

原创 论文笔记：SynMob: Creating High-Fidelity Synthetic GPSTrajectory Dataset for Urban Mobility Analysis

SYN-CHENGDU和SYN-XI'AN。

原创 pytorch 笔记：torch.optim.Adam

【代码】pytorch 笔记：torch.optim.Adam。

原创 pytorch 笔记：torch.optim（基类的基本操作）

这在微调预训练网络时特别有用，例如当你决定解冻某些层，让它们在训练过程中变得可训练，并需要被优化器管理。这是大多数优化器支持的简化版本。一旦使用例如 backward() 计算了梯度，就可以调用该函数。这个字典指定了应该被优化的张量（Tensors），以及与该参数组相关的特定优化选项。假设有一个已经训练的模型，现在在特定的epoch之后，要解冻最后几层以进行微调。所有优化器都实现了一个 step() 方法，用于更新参数。这些选项可以包括学习率 (

原创 论文略读：LoRA Learns Less and Forgets Less

LORA相比于全参数训练，学的少，但忘的也少。

原创 论文略读：Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore

可能有一下几种理论支持。

原创 机器学习笔记：初始化0的问题

他们的损失函数都是交叉熵sigmoid函数的导数：他们能不能用0初始化呢？

原创 论文略读：Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?

支持从32k到128k，再到1M个标记的上下文长度。——>能够系统地评估模型性能随上下文长度增加的变化。SQL：理解自然语言查询并从数据库中提取信息。多示例上下文学习：从大量示例中学习并完成任务。视觉检索：根据文本描述找出相关图像或视频。文本检索：从大量文档中找出相关内容。LOFT的一个关键特性是其可扩展性。音频检索：匹配文本与相应音频。RAG：基于检索信息生成答案。

原创 论文略读：Large Language Models Relearn Removed Concepts

永久去除概念以提高模型安全性的挑战。将高级概念重新定位到较早的层。在修剪后迅速恢复性能。

原创 论文略读： LLaMA Pro: Progressive LLaMA with Block Expansion

ACL 2024。

原创 论文略读：Learning and Forgetting Unsafe Examples in Large Language Models

随着发布给公众的大语言模型（LLMs）数量的增加，迫切需要了解这些模型从第三方定制的微调数据中学习的安全性影响。 论文研究了在包含不安全内容的噪声定制数据上微调的LLMs的行为，这些数据集包含偏见、毒性和有害性 发现虽然对齐的LLMs可以轻松学习这些不安全内容，但当随后在更安全的内容上进行微调时，它们相对于其他示例更容易遗忘这些内容。 受到遗忘差异的启发，作者引入了“ForgetFilter”算法，该算法根据模型对数据的遗忘信号强度过滤不安全的数据。 论文证明ForgetFilter算法确保了在

原创 论文辅助笔记：ST-LLM

1 时间嵌入2PFA（Partial Frozen Architecture）3 ST_LLM3.1 初始化3.2 forward

原创 huggingface笔记：gpt2

包含 torch.FloatTensor 的元组（如果模型具有嵌入层，则为嵌入输出的一个 + 每层输出的一个），形状为 (batch_size, sequence_length, hidden_size)。的元组，每个元组包含形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 2 个张量。(torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) —

原创 LLM笔记：训练大模型之并行化

数据并行。

原创 论文笔记：MobilityGPT: Enhanced Human MobilityModeling with a GPT mode

1 intro1.1 背景尽管对人类移动轨迹数据集的需求不断增加，但其访问和分发仍面临诸多挑战 首先，这些数据集通常由私人公司或政府机构收集，因此可能因泄露个人敏感生活模式而引发隐私问题 其次，公司拥有的数据集可能会暴露专有商业模式，通常难以用于研究目的 最后，公开可用的数据集通常缺乏多样性或质量，数据点存在空白和固有噪声，显著降低了其实用性 ——>建立既高质量又可用于研究的替代轨迹数据源是必要的1.2目前方法的问题基于GAN和VAE的方法 将数据结构化为表格格式

原创 pytorch笔记：named_parameters

可以使用。

原创 huggingface 笔记：peft

将基础模型和 peft_config 与 get_peft_model() 函数一起包装以创建 PeftModel。模型训练完成后，可以使用 save_pretrained 函数将模型保存到目录中。之后就可以train了。

原创 机器学习/pytorch笔记:time2vec

【代码】机器学习/pytorch笔记:time2vec。

原创 论文笔记： GETNext：Trajectory Flow Map Enhanced Transformer for Next

令表示用户集合，表示 POI（如特定餐馆、酒店等）集合，表示时间戳集合其中 M,N,K 均为正整数。每个 POI p∈P 表示为一个四元组 p=〈lat,lon,cat,freq〉，分别表示纬度、经度、类别和签到频率。cat 是从固定的 POI 类别列表中选取的（例如“火车站”、“酒吧”）。签到是一个三元组，表示用户u 在时间戳t 访问 POI p。由用户u∈U 创建的所有签到活动形成一个签到序列，其中是第 i 个签到记录。将所有用户的签到序列表示为。

原创 accelerate 笔记：进程管理

如果在一个由多台机器组成的集群上运行训练作业，并希望每台机器都独立打印它们的日志信息，可以使用。: 如果在多台机器上运行训练作业，并且只希望最终的模型上传操作在所有进程中执行一次，可以使用。

原创 pytorch 笔记：应用：根据内积结果评估模型预测准确性

具体来说，有以下数据：张量a（大小为 40x10），包含 40 个位置的embedding（每个位置的embedding维度为10）。张量b（大小为 4x10），包含一个batch中4个预测位置的embedding。张量c（大小为 4x1），包含四个ground-truth位置的索引。任务是对于b中的每个位置，计算它与a中所有40个位置的embedding的内积，然后选取内积值最高的10个位置。接下来，检查c中的ground-truth位置索引是否在这10个最高内积位置中。

原创 论文笔记：Spatial-Temporal Interval Aware Sequential POI Recommendation

ICDE 2022。

原创 pytorch笔记：清理GPU内存

用top/htop找到相应程序的PID,再使用 kill 结束该进程。可以清理任何先前运行的程序可能遗留的未释放内存。

原创 论文略读 Let’s Speak Trajectories: A Vision To Use NLP Models For Trajectory Analysis Tasks

将轨迹任务和NLP任务对齐。

原创 numpy 笔记np.atleast_1d

【代码】numpy 笔记np.atleast_1d。

原创 pytorch 笔记：torch.dist

时，这表示使用曼哈顿距离（或 L1 范数）。（无穷大）可以用来计算切比雪夫距离。计算距离时使用的范数的阶数。，这表示使用欧几里得距离。