- 博客(1462)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 trackintel笔记：读取csv
以{‘旧名称’:‘trackintel标准名称’}格式重命名列名。此函数需要的列包括：“user_id”、“tracked_at”、“latitude”和“longitude”pyproj.crs或字符串, 可选设置坐标参考系。该值可以是pyproj.CRS.from_user_input()接受的任何内容，例如权威字符串（如‘EPSG:4326’）或WKT字符串。
2024-07-24 09:57:26
245
原创 论文笔记：SynMob: Creating High-Fidelity Synthetic GPSTrajectory Dataset for Urban Mobility Analysis
SYN-CHENGDU和SYN-XI'AN。
2024-07-23 23:27:17
662
原创 pytorch 笔记：torch.optim（基类的基本操作）
这在微调预训练网络时特别有用，例如当你决定解冻某些层，让它们在训练过程中变得可训练，并需要被优化器管理。这是大多数优化器支持的简化版本。一旦使用例如 backward() 计算了梯度，就可以调用该函数。这个字典指定了应该被优化的张量（Tensors），以及与该参数组相关的特定优化选项。假设有一个已经训练的模型，现在在特定的epoch之后，要解冻最后几层以进行微调。所有优化器都实现了一个 step() 方法，用于更新参数。这些选项可以包括学习率 (
2024-07-22 19:58:10
456
原创 论文略读：Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore
可能有一下几种理论支持。
2024-07-15 01:36:06
118
原创 论文略读：Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?
支持从32k到128k，再到1M个标记的上下文长度。——>能够系统地评估模型性能随上下文长度增加的变化。SQL：理解自然语言查询并从数据库中提取信息。多示例上下文学习：从大量示例中学习并完成任务。视觉检索：根据文本描述找出相关图像或视频。文本检索：从大量文档中找出相关内容。LOFT的一个关键特性是其可扩展性。音频检索：匹配文本与相应音频。RAG：基于检索信息生成答案。
2024-07-07 17:09:55
1158
2
原创 论文略读：Large Language Models Relearn Removed Concepts
永久去除概念以提高模型安全性的挑战。将高级概念重新定位到较早的层。在修剪后迅速恢复性能。
2024-07-07 15:00:42
585
原创 论文略读：Learning and Forgetting Unsafe Examples in Large Language Models
随着发布给公众的大语言模型（LLMs）数量的增加，迫切需要了解这些模型从第三方定制的微调数据中学习的安全性影响。 论文研究了在包含不安全内容的噪声定制数据上微调的LLMs的行为，这些数据集包含偏见、毒性和有害性 发现虽然对齐的LLMs可以轻松学习这些不安全内容，但当随后在更安全的内容上进行微调时，它们相对于其他示例更容易遗忘这些内容。 受到遗忘差异的启发，作者引入了“ForgetFilter”算法，该算法根据模型对数据的遗忘信号强度过滤不安全的数据。 论文证明ForgetFilter算法确保了在
2024-07-06 23:00:49
292
原创 论文辅助笔记：ST-LLM
1 时间嵌入2PFA（Partial Frozen Architecture）3 ST_LLM3.1 初始化3.2 forward
2024-07-06 17:29:07
238
原创 huggingface笔记：gpt2
包含 torch.FloatTensor 的元组（如果模型具有嵌入层，则为嵌入输出的一个 + 每层输出的一个），形状为 (batch_size, sequence_length, hidden_size)。的元组，每个元组包含形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 2 个张量。(torch.FloatTensor，形状为 (num_heads,) 或 (num_layers, num_heads)，可选) —
2024-07-06 15:17:18
1040
原创 论文笔记：MobilityGPT: Enhanced Human MobilityModeling with a GPT mode
1 intro1.1 背景尽管对人类移动轨迹数据集的需求不断增加，但其访问和分发仍面临诸多挑战 首先，这些数据集通常由私人公司或政府机构收集，因此可能因泄露个人敏感生活模式而引发隐私问题 其次，公司拥有的数据集可能会暴露专有商业模式，通常难以用于研究目的 最后，公开可用的数据集通常缺乏多样性或质量，数据点存在空白和固有噪声，显著降低了其实用性 ——>建立既高质量又可用于研究的替代轨迹数据源是必要的1.2目前方法的问题基于GAN和VAE的方法 将数据结构化为表格格式
2024-07-01 19:06:00
823
7
原创 huggingface 笔记：peft
将基础模型和 peft_config 与 get_peft_model() 函数一起包装以创建 PeftModel。模型训练完成后，可以使用 save_pretrained 函数将模型保存到目录中。之后就可以train了。
2024-06-25 12:58:25
492
原创 论文笔记： GETNext：Trajectory Flow Map Enhanced Transformer for Next
令表示用户集合，表示 POI（如特定餐馆、酒店等）集合，表示时间戳集合其中 M,N,K 均为正整数。每个 POI p∈P 表示为一个四元组 p=〈lat,lon,cat,freq〉，分别表示纬度、经度、类别和签到频率。cat 是从固定的 POI 类别列表中选取的（例如“火车站”、“酒吧”）。签到是一个三元组，表示用户u 在时间戳t 访问 POI p。由用户u∈U 创建的所有签到活动形成一个签到序列，其中是第 i 个签到记录。将所有用户的签到序列表示为。
2024-06-25 09:58:01
308
原创 accelerate 笔记：进程管理
如果在一个由多台机器组成的集群上运行训练作业，并希望每台机器都独立打印它们的日志信息，可以使用。: 如果在多台机器上运行训练作业，并且只希望最终的模型上传操作在所有进程中执行一次，可以使用。
2024-06-24 20:21:18
273
原创 pytorch 笔记：应用：根据内积结果评估模型预测准确性
具体来说，有以下数据：张量a（大小为 40x10），包含 40 个位置的embedding（每个位置的embedding维度为10）。张量b（大小为 4x10），包含一个batch中4个预测位置的embedding。张量c（大小为 4x1），包含四个ground-truth位置的索引。任务是对于b中的每个位置，计算它与a中所有40个位置的embedding的内积，然后选取内积值最高的10个位置。接下来，检查c中的ground-truth位置索引是否在这10个最高内积位置中。
2024-06-24 14:48:53
292
原创 论文笔记：Spatial-Temporal Interval Aware Sequential POI Recommendation
ICDE 2022。
2024-06-23 16:07:22
489
原创 pytorch笔记：清理GPU内存
用top/htop找到相应程序的PID,再使用 kill 结束该进程。可以清理任何先前运行的程序可能遗留的未释放内存。
2024-06-19 14:51:21
569
原创 论文略读 Let’s Speak Trajectories: A Vision To Use NLP Models For Trajectory Analysis Tasks
将轨迹任务和NLP任务对齐。
2024-06-17 15:39:12
130
原创 pytorch 笔记：torch.dist
时，这表示使用曼哈顿距离（或 L1 范数）。（无穷大）可以用来计算切比雪夫距离。计算距离时使用的范数的阶数。，这表示使用欧几里得距离。
2024-06-14 16:28:49
273
原创 论文笔记：ATime-Aware Trajectory Embedding Model for Next-Location Recommendation
仅报告Gowalla数据集的结果，其他两个数据集的观察结果类似。一旦所有嵌入向量都学习完成，我们按以下方式生成下一个位置推荐。
2024-06-13 19:54:45
1162
原创 论文笔记：Pre-training Context and Time Aware Location Embeddings from Spatial-TemporalTrajectories for U
AAAI 2021。
2024-06-13 16:16:08
271
1
原创 论文笔记：A survey on next location prediction techniques, applications, and challenges
2022。
2024-06-13 14:55:29
842
原创 torchvision笔记 torchvision.ops.sigmoid_focal_loss
会退化成普通的二元交叉熵损失（Binary Cross Entropy, BCE）权重因子，范围在 (0,1) 之间，用于平衡正负样本。存储每个元素的二分类标签（0表示负类，1表示正类）'none'、'mean' 或 'sum'。与 inputs 形状相同的浮点张量。'none' 表示对输出不进行约简；'mean' 表示将输出取平均；当 =α=1 且 γ=0= 时，'sum' 表示将输出求和。默认为 'none'
2024-06-11 16:11:31
280
原创 机器学习笔记：label smoothing
在传统的分类任务中，我们通常使用硬标签（hard labels） 即如果一个样本属于某个类别，其对应的标签就是一个全0的向量，除了表示这个类别的位置为1。 例如，在一个3类分类任务中，某个样本的标签可能是 [0,1,0] Label Smoothing 的思想是将这些硬标签替换为软标签（soft labels）。 例如，对于上述的三类问题，我们可以将标签 [0,1,0]转换为 [0.1,0.8,0.1] 这样做的效果是降低模型对于标签的绝对信任度，鼓励模型学习到更加平滑的概率分布
2024-06-10 23:57:19
311
原创 机器学习笔记：focal loss
1 介绍Focal Loss 是一种在类别不平衡的情况下改善模型性能的损失函数 最初在 2017 年的论文《Focal Loss for Dense Object Detection》中提出 这种损失函数主要用于解决在有挑战性的对象检测任务中，易分类的负样本占据主导地位的问题，从而导致模型难以学习到难分类样本的特征Focal Loss 修改了标准的交叉熵损失函数，通过减少易分类样本的相对损失来增加对难分类样本的关注 其基本形式为如下FL的部分 γ 是调节因子，用于控制易分类样本对损
2024-06-10 23:38:42
413
原创 论文略读：Onthe Expressivity Role of LayerNorm in Transformers’ Attention
ACL 2023。
2024-06-10 15:09:05
192
原创 论文笔记/数据集笔记：E-KAR: A Benchmark for Rationalizing Natural Language Analogical Reasoning
ACL 2022。
2024-06-10 14:33:57
322
原创 数据集笔记：DGraph 大规模动态图数据集
DGraph 是一个有向无权的动态图，包含超过 370 万个节点以及 430 万条动态边DGraph 中的节点表示金融借贷用户，有向边表示紧急联系人关系，每个节点包含脱敏后的属性特征，以及表示是否为金融诈骗用户的标签异常与正常用户比例约为 1:100。
2024-06-08 20:21:18
279
1
原创 pytorch 笔记：pytorch 优化内容（更新中）
时，PyTorch 会在程序第一次执行每种卷积配置时启用一个自动调优器，这个调优器通过实际运行不同的卷积算法来测试它们的性能。（默认值）时，PyTorch/cuDNN 会选择一个合适的、通用的卷积算法来执行操作，而不会根据具体的网络配置进行优化。这是因为一旦为每种卷积配置选择了最优算法，就不需要再进行调整，每次执行同样的卷积操作都会使用这一最优算法。然后，它选择最快的算法，并在后续的训练过程中使用这一算法。这个“基准测试”过程只在第一次遇到新的卷积配置时进行。
2024-06-08 17:40:14
956
原创 accelerate 笔记：对齐不同设备配置的性能
确保在所有分布式情况下使用 utils.set_seed() 完全设置种子，以使训练可复现。举例：假设我们有：两个GPU用于“多GPU”、一个带有8个工作站的TPU pod。学习率应该根据设备的数量线性缩放。
2024-06-05 11:04:30
357
network embedding lecture slide
2023-01-01
python 实现 cmaes （调用方便）
2022-02-13
ASTGCN(AAAI 2019).pdf
2021-08-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人