深度学习各子领域略览及术语列表

诸神缄默不语

已于 2024-04-08 21:33:50 修改

阅读量2k

点赞数 8

分类专栏：人工智能学习笔记文章标签：深度学习自然语言处理人工智能 AI

于 2023-01-05 12:35:45 首次发布

本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/128560489

版权

人工智能学习笔记专栏收录该内容

243 篇文章 258 订阅

订阅专栏

诸神缄默不语-个人CSDN博文目录

有些内容附带了相应的超链接作为可参考资料，有些没有。很多内容可以参考我的其他博文，其中有一部分链接我也会挂到这里来。

文章目录

正文
本文撰写过程中使用的参考资料
其他补充阅读资料

正文

感觉不是MECE的分类，但是算了差不多就这样，建议用Ctrl+F

1. ML基础

有监督supervised / 无监督unsupervised / 半监督semi-supervised（弱监督） / 自监督self-supervised
有监督：有标签
无监督：没有标签
半监督：有一部分标签，对未标注的样本生成伪标签
自监督¹：没有人工标注的标签，但是我们从数据本身中挖掘出标签，然后用有监督的方法来对其进行学习（如mask掉文本中的部分token）
分类
1. 多分类multi-class
2. 多标签multi-label
3. 极限多标签文本分类XMTC（NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类）
4. 情感分析
  我说这是NLP界最火（指最卷）的研究课题，应该没什么问题吧
  1. aspect-based sentiment analysis (ABSA) 基于方面的情感分析
    
    对这一课题的介绍和图片来源：方面情感分析-Recurrent Attention Network - 知乎
5. 虚假新闻检测（NLP课题入门 day 4 虚假新闻检测）
6. 异常检测anomaly detection
回归
1. Generalized Linear Models (GLMs)
2. Generalized Additive Models (GAMs)
3. 线性回归模型
4. 多重共线性
5. 向前选择法forward selection
  向前选择法_百度百科
结构化学习：输出结果是结构化的对象（序列、树、图等）
概率图模型
玻尔兹曼机
深度信念网络
排序rank
感觉推荐系统、搜索引擎、信息抽取/检索方面会用得比较多
1. 指标
  Ranking算法评测指标之 CG、DCG、NDCG - 知乎
  1. CG
  2. DCG
  3. NDCG
特征工程特征工程/数据预处理超全面总结（持续更新ing…）
generative生成式 / discrimination判别式模型
可以参考这篇小红书笔记：
支持向量机SVM
K近邻分类KNN
多标签分类的模型
1. 对于标签数的选择：要么直接设定一个超参（top-k），要么设定概率阈值，要么将所有标签分别作为一个二分类任务、然后设定二分类的概率阈值，要么专门做一次number learning任务（一层神经网络）
  基于法条外部知识的法条推荐这篇用多种表征来进行二分类，缓解阈值选取造成的性能损失
2. Label Powerset：非常直觉的……直接把多标签重新组合成多分类任务的标签集（暴力出奇迹）
3. ML-KNN
  数据科学实战系列之ML-KNN（一）_mlknn_明曦君的博客-CSDN博客
graphical model
隐马尔科夫模型HMM
条件随机场CRF
朴素贝叶斯Naive Bayesian分类器 (NBC)
关联规则
1. Welcome to Orange3-Associate documentation! — Orange3-Associate documentation
粒子优化算法PSO
损失函数可参考这篇：机器学习/深度学习中的常用损失函数公式、原理与代码实践（持续更新ing…）
留一法 / leave one out (LOO)
模型融合model fusion与模型聚合model ensemble：https://blog.csdn.net/PolarisRisingWar/article/details/137137401
难例挖掘 hard-negative-mining
分析模型难以预测正确的样本，给出针对性方法。
聚类
1. K均值K-Means
  手肘法：通过SSE骤降的拐点选择K值（目测法） kmeans的手肘法_Petyon的博客-CSDN博客
2. 谱聚类 A Tutorial on Spectral Clustering
归一化 / 正则化
1. 最大最小规范化min-max scalar
2. Z Score正则化
3. batch normalization
4. layer normalization
5. dropout（也被认为是传统的神经网络随机删减方法）
6. 深度学习中的trick | 先BN后dropout：同时使用有争议
7. DropConnect：就不是将层输入随机置0，而是直接随机将权重元素置0
  DropConnect Explained | Papers With Code
数据不平衡问题imbalance
FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。
1 MFLOPs(mega) = 10^6 FLOPs，即：100万次浮点运算
1 GFLOPs(giga) = 10^9 FLOPs，即：10亿次浮点运算
1 TFLOPs(tera) = 10^12 FLOPs，即：1万亿次浮点运算²

2. DL通用基础

全连接前馈神经网络FFNN / 多层感知机MLP
卷积神经网络CNN
循环神经网络RNN RNN（包括GRU和LSTM）和其他seq2seq/encoder-decoder模型
回声状态网络 (echo state network,ESN)
1. 回声状态网络(echo state network,ESN)概述_好大一条比目鱼的博客-CSDN博客_回声状态网络
稀疏自动编码机SAE
孪生神经网络Siamese network³：构建2个相同的网络，计算嵌入之间的距离，使得相似输入的嵌入相似（总之是个比较类似于对比学习的思路）
如果不相似输入的嵌入仍然相似，就叫塌陷（collapse）
置信度传播belief propagation
残差网络residual network (ResNet)
identity mapping: 论文阅读之identity mapping_Teague_DZ的博客-CSDN博客_identity mapping
n-gram
token
池化
表示学习
误差传播
耦合 / 解耦
剪枝
知识蒸馏knowledge distillation
优化optimization
1. 凸优化convex optimization
2. 梯度下降
3. 随机梯度下降SGD (Stochastic Gradient Descent)
4. NT-ASGD Explained | Papers With Code
5. 反向传播back propagation (BP)
6. 学习率learning rate
7. weight decay
8. momentum
9. Adam
10. 余弦退火(cosine annealing)和热重启的随机梯度下降
11. NT-ASGD
12. EM算法（变分推断（variational inference）/variational EM）
13. NeurIPS 2022上Geoffrey Hinton提出了一种超神奇的、不用反向传播的前向-前向传播的训练方式：
  The Forward-Forward Algorithm: Some Preliminary Investigations
  反正这个东西大意呢就是说，不用反向传播，而是直接进行两次前向传播（一次用正样本，一次用负样本），直接调整权值（具体算法我没看懂），这样的优势有很多啊，比如模型不可微、或者模型是黑盒的时候，这样就也能计算权值了……
  总之我觉得可能是一些RL不够persuasive的场合下能给RL一个灭顶之灾的搞法。
  然后2023年就有把这个东西用在GNN上的工作了（你们是真的快啊，别跟我讲2023年你能连综述都搞出来哈）：Graph Neural Networks Go Forward-Forward
14. 其他不用反向传播的工作，还没看具体是咋干的所以不好分类：
  (2022 ICDM) Backpropagation-free Graph Neural Networks
15. 蚁群优化算法Ant Colony Optimization (ACO)
16. 萤火虫算法firefly algorithm
17. 随机启发式无导数优化方法
  1. Derivative-Free Optimization via Classification
18. Dragon fly Optimization - GeeksforGeeks
AutoML
1. Angel-ML/angel: A Flexible and Powerful Parameter Server for large-scale machine learning
2. PKU-DAIR/mindware: An efficient open-source AutoML system for automating machine learning lifecycle, including feature engineering, neural architecture search, and hyper-parameter tuning.
3. PKU-DAIR/open-box: Generalized and Efficient Blackbox Optimization System [SIGKDD’21].
4. 神经网络结构搜索NAS
  大概来说就是不再由人工设置超参，而是直接给定一个搜索空间search space（一堆模型结构组成的空间），然后让模型自己根据模型优化结果来学它应该长成什么结构。
  比较容易联想到ML中传统的网格搜索之类的。DL之所以一般不那么干就是因为那样时间久嘛（我以前做小图GNN的时候，因为跑得快，所以也上网格搜索来着，直到我后来来做了NLP……）
  神经网络结构搜索(NAS)简介 - 知乎
adaptive（加可训练的参数，比如线性转换之类的） / non-adaptive（平均值、最大值etc）
attention（你给我解释解释，什么TMD叫TMD attention（持续更新ing…））
transformers
Transformer原理纯享版
 Re63：读论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
小样本学习few-shot learning（N-way/shot就表示每类能看到几个训练集样本）
零样本学习zero-shot learning
数据漂移data shift
机器学习中的数据漂移问题 - 哔哩哔哩
关系学习relational learning（relational learning关系学习）
度量学习metric learning
对比学习contrastive learning
参考我写的另一篇博文：对比学习（持续更新ing…）
consistency learning：意思是对数据做微小扰动后，应该使其预测结果不变（呃感觉听起来跟对比学习很像啊）
【半监督】半监督方法中的Consistency learning - 知乎：只看了概念部分。实例部分咔咔一上来全是CV，看不懂！
数据增强data augmentation
1. CV中常用的：随机裁剪，图像反转，图像缩放
2. NLP中常用的
  1. 回译
  2. 生成（问就是ChatGPT）：近义词替换，embedding相近词替换，句子shuffle
  3. 文本对抗
    1. TextFooler（单词重要性排序，单词替换模型）⁴
数据抽样sampling
对抗攻击
对抗防御
推荐系统recommendation system
1. 协同过滤
2. 冷启动问题cold-start problem
3. CTR
4. uplift：一个活动做不做能带来多大的改变
  two-learner: 大概来说就是通过对照试验，分别建模，这样对每一个新的用户，就能通过2估计一个活动做不做能带来多大的改变⁵
黑盒模型 / 白盒模型
可解释性explainbility
1. attention
2. 隐藏层（这个感觉CV那边会用得多一点，毕竟NLP的话……你都不连续了，谁知道你是个啥啊）
3. rationale：大概就是从原文中抽取出一部分内容，作为解释原因
  
  图源：Rationalizing Neural Predictions
4. 加一个中间任务：抽取特征（感觉上就像是把机器学习的逻辑用深度学习做一遍）
5. SHAP
  不再黑盒，机器学习解释利器：SHAP原理及实战 - 知乎看这篇文章的介绍，shapley value(沙普利值) 应该是算每一个特征维度对结果的边际贡献。中间的原理巴拉巴拉的都没看。
鲁棒性robustness
贡献度分配问题（Credit Assignment Problem，CAP）⁶
auto-encoder
latent-variable predictive architectures⁷
对抗神经网络GAN
联邦学习federated learning
差分隐私differential privacy
多任务学习multi-task learning：就是在训练多种任务时共用一部分模型参数
多目标优化：（这部分我是真的没看懂啊，以后慢慢看吧）
1. 帕累托最优
  一篇用MGDA实现帕累托优化的paper，博文可参考：深度学习中的trick | day 14 | 多任务学习
2. borg 算法
3. NSGA-II算法
4. 遗传算法
5. 进化算法
6. metaheuristic 元启发式方法。一些随机搜索算法诸如进化算法、蚁群算法、粒子群算法这类具有启发式框架的智能算法称为元启发式算法。⁸
强化学习reinforcement learning
Autonomous reinforcement learning on raw visual input data in a real world application
Self-critical Sequence Training for Image Captioning
1. sequential decision-making problems
2. valuebased models
3. policy-based models
4. 策略梯度方法
5. Q-learning
6. Actor-Critic framework（策略policy函数-生成动作-环境交互，价值函数）
7. asynchronous advantage actorcritic (A3C) algorithm：强化学习算法的训练方法
  Asynchronous Methods for Deep Reinforcement Learning
8. RLHF（最近应该是因ChatGPT而比较出名）
imitation learning
模型量化quantization⁹
模型加速
1. 分布式训练
  1. 数据并行
  2. 模型并行
2. 用cpp写代码¹⁰
3. OpenNMT的加速推理引擎
灾难性遗忘Catastrophic Forgetting
迁移学习transfer learning
Jindong Wang | Book
1. 差分学习率：在不同的层设置不同的学习率，可以提高神经网络的训练效果
  ¹¹
lifelong learning / continuous learning / never ending learning / 增量学习incremental learning：学习新的任务，并保持对以前任务的预测指标
1. 课程学习Curriculum Learning (CL)：安排任务的学习顺序
  the process of ANN training in which samples are used in a meaningful order，把数据分批丢进去学习，或者先学所有数据集，然后逐渐减少样本¹²
2. Taskonomy：（感觉跟上一个差不多，我有点懵了）
3. 2020机器学习前沿技术----LifeLong learning - 知乎
主动学习active learning (AL)：通过选择性的标记较少数据而训练出表现较好的模型
1. 主动学习（Active Learning），看这一篇就够了 - 知乎
遗传编程/基因规划 Genetic Programming
1. 【遗传编程/基因规划】Genetic Programming初学者笔记：基本概念与过程_ocd_with_naming的博客-CSDN博客_gp算法grow方法
2. 遗传编程（Genetic Programming）_美好在悄悄发生的博客-CSDN博客_遗传编程
3. 遗传编程（Genetic Programming）入门指南 - 知乎
上下文学习in-context learning (ICL)：看起来意思就是用相关样本来预测目标样本。
直接这么说有点像transductive learning，但看示例似乎其实是prompt，就是给模型提供几个示例样本，然后让模型进行预测。
1. 上下文学习（in-context learning），检索和OOD外推 - 知乎
2. A Survey for In-context Learning
3. Larger language models do in-context learning differently：这篇认为只有大模型才会做in-context learning，给出错误答案后效果会下降，但如果给出与正确答案一样分布的错误答案，则不会下降太多，说明大模型能学到问题与答案之间的映射关系
  In-context learning只对大模型有效！
4. In-Context Learning中的示例选择及效果
i.i.d. / out-of-distribution (OOD)
OOD detection
1. 基于分类模型的方法
2. 基于生成模型的方法
3. Energy-based Out-of-distribution Detection
online learning
1. Online Learning算法理论与实践 - 知乎
领域自适应
元学习meta-learning
捷径学习shortcut learning
1. 走不得的捷径：shortcut learning捷径学习 - 知乎
解耦学习
因果推理
1. 反事实学习counterfactual learning
  反事实解释（Counterfactual Explanation, CE） - 知乎
AI伦理问题
1. AI公平性问题
  这个我可能以后也会专门出个专题来写，现在先把收集到的资料整理到这里
  1. 词嵌入中的性别偏见（直接计算距离）：
    如何消除机器学习模型中的性别偏见：NLP和词嵌入 - 雷锋字幕组- AI研习社
     Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings
2. Ethics consideration sections in natural language processing papers
多模态multi-modal
label embedding
label smoothing
几何深度学习
Geometric deep learning: going beyond Euclidean data
几何深度学习从古希腊到AlphaFold，图神经网络起源于物理与化学：这一篇感觉就是先讲了讲深度学习，然后介绍了图论、化学式、图神经网络
symbolic AI
Neural-Symbolic Integration¹³
反绎学习abductive learning (ABL)¹⁴
大概来说是生成伪标签，然后用逻辑推理进行修正，再重新训练分类器，反复迭代，直至分类器不再更新或标签与逻辑统一
Human-level concept learning through probabilistic program induction
自动定理证明Automated Theorem Proving
就是让模型证明数学定理
1. 自动定理证明_百度百科
dual learning对偶学习
1. Dual learning for machine translation
2. Dual Supervised Learning
3. 参考博文：
  1. 9/17 Dual learning_NANCYGOODENOUGH的博客-CSDN博客
城市计算urban computing：感觉大概来说就是搞“智慧城市”
群体感知
城市计算概述（introduction to urban computing）笔记 - 知乎这篇讲的是这篇paper：Introduction to Urban Computing
AI+X
1. 化学
  [IJCAI 2023] 化学小分子预训练模型(Chemical Pre-trained Models, CPMs)首篇综述

3. 主要用于NLP的DL基础

OOV (out of vocabulary)
停用词
词干化stemming：将英文中所有同一个词的各种形式统一，如stopped, stopping都统一到stop
序列标注
常见任务：分词tokenization，短语识别，分句 / 句子边界检测，命名实体识别NER (named entity recognition)，词性标注PoS Tagging，实体抽取，关系抽取relation extraction，事件检测/事件抽取，measurement extraction，指代消解coreference resolution
可参考我撰写的另一篇博文：序列标注/信息抽取任务（持续更新ing…）
TF-IDF模型
词袋模型BoW
LDA
LDA原始论文：Latent Dirichlet Allocation
word2vec
1. CBOW
2. skip-gram
句子表征
1. 对句子的表示可以分为composion（从词向量到句向量）和distributed（将句子当成一个unit，前后文作为context）
2. 自然语言处理中句向量 - 知乎
3. Sentence Embedding 现在的 sota 方法是什么？ - 知乎
预训练语言模型pretrained language model
1. 可参考我撰写的这两篇博文：预训练语言模型概述（持续更新ing…）和各种预训练模型的理论和调用方式大全
2. [CLS]
3. [SEP]
4. [BOS]
5. [EOS]
  自然语言处理加BOS和EOS的作用是什么? - 知乎
6. 突现能力
  深入理解语言模型的突现能力
   137 emergent abilities of large language models — Jason Wei
  On Emergent Abilities, Scaling Architectures and Large Language Models — Yi Tay
7. 思维链chain-of-thought (CoT)：大概来说就是让LLM在生成结果前先生成文本形式的推理过程。其实我个人还是觉得这样太简单粗暴了……
  Chain of Thought Prompting Elicits Reasoning in Large Language Models
  Chain of Thought 开山之作论文详解_qq_42190727的博客-CSDN博客
   思维链(Chain-of-Thought, CoT)的开山之作 - 知乎
微调finetune
prompt / 提示学习prompt learning
bootstraping
远程监督distant supervision
认为如果句子中含有一对知识库原本就存在关系的实体，那么这句话大概率表示了这一关系
关系抽取之远程监督算法（Distant Supervision）_Dr.sky_的博客-CSDN博客：这一篇我只主要看了介绍部分，终于看懂远程监督是啥意思了！
Distant supervision for relation extraction without labeled data：远程监督界的开山之作
cross-view training：感觉意思差不多是说，在有监督的训练方法之外，新增了其他挖空方式（cross-view）来进行训练
信息检索information retrieval (IR)¹⁵
1. 召回-重排rerank
2. 文本匹配
  1. 句子相似度
  2. 算法：BM25
3. NLP基础知识 | 常见任务类型 | 信息检索
4. 向量检索/向量相似性计算方法（持续更新ing…）
5. ad-hoc检索：集合中的文档相对稳定，query变化很大
  routing检索：query要求相对稳定，被查询的文档（数据库）不断变化
  ad hoc检索 & routing检索_ad hoc 检索_Mr.DC30的博客-CSDN博客
搜索引擎
Sponsored Search付费搜索
关键词提取（常用的Python3关键词提取方法）
主题分类/抽取
文本生成natural language generation (NLG)
1. 文本摘要text summarization（可以直接参考我写的博文：文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing…））
2. 机器翻译machine translation
3. paraphrase generation / rephrasing：生成输入文本的同义文本（相当于转述）
4. PPT生成
5. 问答QA
  QA相关我之前写过一个回答，列过一些paper，可供参考：https://www.zhihu.com/question/536413640/answer/2533262058
6. 问题生成question generation
  1. Multiple Choice Question Generation (MCQG)
7. 文本风格转换text style transfer（是NLG任务，但不像一般NLG任务是源域与目标域样本一比一匹配的，而是那种（比划）就是一堆对应一堆的那种）
8. 文本纠错text correction
9. 创新度novelty
10. encoder-decoder架构
11. seq2seq任务
12. BLEU指标
自然语言理解NLU / 自然语言推理Natural Language Inferencing (NLI)
一文看懂自然语言理解-NLU（基本概念+实际应用+3种实现方式）
NLU调研 - 给荔枝打气
1. 蕴含识别entailment / recognizing textual entailment (RTE)
  矛盾 (contradiction)、无关 (neutral) 和蕴含 (entailment)
  1. SAN：多步推理（RNN+记忆机制）
    用于自然语言推理的随机答案网络 - 知乎 Stochastic Answer Networks for Natural Language Inference
2. 意图识别/检测（NLP课题入门 | day 14 | 意图分类）
  在搜索场景下的应用可参考这篇博文：R&S[25] | 搜索中的意图识别
3. 槽填充slot filling（NLP基础知识 | 常见任务类型 | 槽填充 NLP课题入门 | day 15 | 槽填充）
  
  开放域/域外意图检测
4. Text-to-SQL
Spoken Language Understanding (SLU)
阅读理解Machine Reading Comprehension (MRC)
讽刺检测sarcasm detection（NLP课题入门 | day 9 | 讽刺检测）
抄袭检测plagiarism detection
A Review of Machine Learning based Plagiarism Detection Approaches
跨语言cross-language
emotional recogniton
semantic relatedness (SR)
根据上下文或语义相似性量化两个unit（词汇/句子/概念）之间的关系¹⁶

比如这个例子中，第一对句子比第二对句子相关性更高
decontectualization：大致来说就是把文中的一句话单拎出来进行修改，补全该句所需的上下文，表示原句意。说来复杂总之可以参考：为什么每次有人大声通电话时，我就很烦躁…_51CTO博客_有人大声说话就烦躁
language detection
1. 这篇工作上次更新代码已是5年前，上次回复issue已是2020年，所以感觉不太维护了：saffsd/langid.py: Stand-alone language identification system
语义标记semantic markup：标注语义/内容相关的信息，举个栗子就像这样：

（图源Semantic mark-up of Italian legal texts through NLP-based techniques）
参考资料：
1. 语义标记_百度百科
2. Semantic Markup | What is Semantic Markup? | Fable：说这是个辅助技术
3. What On Earth Is Semantic Markup? (And Why Should You Learn To Write It) »：在HTML的领域上解释了一下这是个啥
论点挖掘argument mining
论点挖掘小技巧-CSDN博客
语义表示
1. 抽象语义表示Abstract Meaning Representation (AMR)：使用单根有向无环图，来表示一个句子的语义结构，其中词抽象为概念节点（Node），词之间的语义关系抽象为带有语义角色标签的有向弧（Arc）
  
  GoThereGit/Chinese-AMR: Chinese AMR Corpus
框架语义学frame semantics
1. 框架语义解析（Frame Semantic Parsing，FSP）是自然语言处理领域中的一项重要任务，其目标是从句中提取框架语义结构，实现对句子中涉及到的事件或情境的深层理解
空间语义理解
潜在语义索引latent semantic indexing (LSI)
claim verification：根据文档（document）验证声明（claim）的准确性，进行supported（支持），refuted（驳斥），NEI（信息不足）三分类¹⁷
词汇替换任务（lexical substitution）是自然语言处理（NLP）领域的一个任务，其目标是在给定的语境中不改变句子含义的情况下，用替代词替换句子中的目标词。
词汇替换任务在许多 NLP 应用中都有重要作用，例如：
词汇简化：将复杂的词汇替换为简单的词汇，以提高文本的可读性和理解度。例如，将“automobile”替换为“car”。
词义消歧：在多义词的语境中，选择合适的词义。例如，在“The dog chased the cat”中，将“chase”的词义解释为“追逐”。
摘要生成：将长文本摘要为短文本，其中可能需要替换一些词汇。例如，将“The dog is a loyal animal”替换为“Dogs are loyal animals”。
词汇替换任务通常分为两类：
基于规则的词汇替换：使用人工定义的规则来替换目标词。例如，可以使用同义词表来替换词汇。
基于机器学习的词汇替换：使用机器学习模型来学习替换目标词的策略。例如，可以使用神经网络来学习替换目标词的语义相似度。
基于规则的词汇替换方法简单易行，但其效果通常不如基于机器学习的方法。基于机器学习的方法可以学习到更复杂的替换策略，但其训练成本通常较高。
以下是一些词汇替换任务的例子：
将“The dog chased the cat”中的“dog”替换为“puppy”。
将“The man is driving a car”中的“car”替换为“automobile”。
将“The meeting will be held at 9:00 AM”中的“AM”替换为“in the morning”。
程序语言处理PLP (programming language processing)
1. program representation
2. algorithm detection
LegalAI：准备专门写一篇，等等吧
语言学上的一些概念
1. 计算语言学CL (Computational Linguistics)
2. 齐夫定律 - 维基百科，自由的百科全书：在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比
3. 同指关系referentiality：指称同一对象的不同词之间的意义关系。指称同一对象的这些词可能同义，也可能异义。例如“老虎”“於菟”“百兽之王”都可指称虎。¹⁸
4. surface form：词语本身的表现形式¹⁹
量子自然语言处理QNLP (Quantum Natural Language Processing)
量子+AI：自然语言处理 - 腾讯云开发者社区-腾讯云
 GitHub - ICHEC/QNLP: ICHEC Quantum natural language processing (QNLP) toolkit

4. GNN和图论

transductive learning / inductive learning
直推 / 归纳（这两个词的翻译真的很诡异）
如何理解 inductive learning 与 transductive learning? - 知乎
图的表示：
定义一（图）
定义二（图的邻接矩阵）
图的属性：
定义三（结点的度，degree）
定义四（邻接结点，neighbors）
定义五（行走，walk）
定理六（行走的个数）
定义七（路径，path）
定义八（子图，subgraph）
定义九（连通分量，connected component）
定义十（连通图，connected graph）
定义十一（最短路径，shortest path）
定义十二（直径，diameter）
定义十三（拉普拉斯矩阵，Laplacian Matrix）
定义十四（对称归一化的拉普拉斯矩阵，Symmetric normalized Laplacian）
节点分类
1. 典型任务
  1. 生物医药领域：药物发现drug discovery，蛋白质结构预测protein structure prediction²⁰
链路预测（图学习中的链路预测任务（持续更新ing…））
图分类
图着色graph coloring
1. 四色定理_百度百科
2. 10.8图着色(Graph Coloring) - 进击の辣条 - 博客园
clique是一个点集，在一个无向图中，这个点集中任意两个不同的点之间都是相连的。maximal clique是一个clique，这个clique不可以再加入任何一个新的结点构成新的clique
1. 1142 Maximal Clique_小鱼朵~的博客-CSDN博客
graph summarization
A Survey on Graph Neural Networks for Graph Summarization
子图学习
subgraph neural networks / subgraph mining（NLP课题入门 | day 20）
对于同质图节点表征模型，我专门另外写了一个博文，可作参考：各种同质图神经网络模型的理论和节点表征学习任务的集合包rgb_experiment
图扩散卷积graph diffusion convolution (GDC)（仅适用于同配图）：怎么说呢，感觉就是用PPR之类的扩散方法重新构建出了一个新图
Diffusion improves graph learning
gasteigerjo/gdc: Graph Diffusion Convolution, as proposed in “Diffusion Improves Graph Learning” (NeurIPS 2019)
原博文：Graph Diffusion Convolution - MSRM Blog
中文翻译：图扩散卷积：Graph_Diffusion_Convolution_jialonghao的博客-CSDN博客_图扩散
二分图bipartite graph
(2023 Social Network Analysis and Mining) A survey on bipartite graphs embedding
异质图神经网络HGNN（异质图神经网络（持续更新ing…））
1. metapath
2. meta-graph
3. metapath-based neighborhood
4. meta-path neighbor graph / metapath-based graph
5. network schema
6. metapath及其相关概念（持续更新ing…）
动态图神经网络
1. 概念：图信息会根据时间进行改变（改变节点特征→比如修改论文内容，改变边→比如增加好友关系）
  动态网络（dynamic network）和时态网络(temporal network)有区别吗？ - 知乎：感觉结论是没有区别
2. 工具包
  1. EasyDGL
    (2023) EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph Learning
  2. DyGLib
    yule-BUAA/DyGLib: A Library for Dynamic Graph Learning
multiplex network：大概就是说，同样的节点，但是有多种不同的组边方式（只有1种节点，但是有多种边的异质图）

（图源：Graph Representation Learning 笔记 Ch1&Ch2（未读））

Representation learning for attributed multiplex heterogeneous network
hyperbolic
graph un-learning：理念是从模型中去掉已学习的部分训练集（想要保护隐私，所以要删除指定用户数据，这种scenario）
(2023 ICLR) GNNDelete: A General Strategy for Unlearning in Graph Neural Networks
(2023 NDSS) Unlearnable Graph: Protecting Graphs from Unauthorized Exploitation：这篇更进一步，直接让模型原本的整个图都不能学了
图结构学习graph structure learning (GSL)：学习节点表示的同时，学习更合适的图结构
论文笔记：A Survey on Graph Structure Learning: Progress and Opportunities - 知乎
GNN+NLP
1. GNN以文本作为特征
  1. 直接解耦或端到端训练BERT+GNN
  2. (2022 ICLR) Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction：GIANT模型
    首先用预测图结构（预测一个节点的邻居，在图上是链路预测任务，但用extreme多标签分类的范式进行学习）的自监督学习任务来构建文本表征模型，然后再对文本进行表征，然后再用GNN进行表征。
    文本表征模型用的是XR-Transformers，将节点邻居的跳数视作文本分类的层级
  3. (2022 KAIS) Embedding text-rich graph neural networks with sequence and topical semantic structures
    联合训练图表征和文本表征（利用文本中的图结构）
  4. (2023 ICLR) Learning on Large-scale Text-attributed Graphs via Variational Inference
    用EM算法分别更新LLM和GNN
  5. (2023) SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning
    直接在下游任务上对LLM做PEFT，用last hidden state做节点表征，然后用GNN学习下游任务。
2. GNN Transformer
  (2022 NeurIPS) Recipe for a General, Powerful, Scalable Graph Transformer
  GraphGPS包：rampasek/GraphGPS: Recipe for a General, Powerful, Scalable Graph Transformer
  (2023) Attending to Graph Transformers
AutoGraph：这个我主要是听过一位北大博士给我们实验室讲的talk。我自己不是做这个的，所以只在此简单罗列。对slides或者相关专业人士有需求的可以联系我，我再去帮你找人。
补充知识点：GNN算子可以分为propagate（P）和transform（T）
1. G-NAS：PT的pipeline（模式和深度）是固定的
  GraphNAS Graph Neural Architecture Search
  Auto-GNN: Neural Architecture Search of Graph Neural Networks
2. Model Degradation Hinders Deep Graph Neural Networks：这篇paper考虑了以前工作太浅导致对全图信息的表现力不足，GNN很难做深是个经典问题了，本文这里给出的解释是拉普拉斯平滑（slides这里还有一些相关论文列表，JKNet，SGC，APPNP，DAGNN等，其他略，可以看下面一条的deep GNN工作集锦），主要探讨了P和T两种算子的深度分别对GNN产生的影响
3. DFG-NAS: Deep Graph Neural Architecture Search：design space考虑不同的PT顺序、组合和数量，加入门机制、skip connection等
  （架构的选择与图的稀疏程度、大小等有关）
4. PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm：这篇主要考虑信息通讯代价的问题，提升GNN的scalability
  PKU-DAIR/SGL: A scalable graph learning toolkit for extremely large graph datasets. (WWW’22, 🏆 Best Student Paper Award)
  Neural Message Passing (NMP) 范式（聚合过程是通讯，更新过程是计算）会导致图运算耗时
  SGAP范式：
  
  这个架构看起来是传播→训练→传播again（这回用的是训练后得到的软标签），具体的没看
  design space是3个SGAP步骤中的参数选择
5. 工具包：Angel Graph
6. G-RNA：关注NAS鲁棒性问题
  (2023 CVPR) Adversarially Robust Neural Architecture Search for Graph Neural Networks
mengliu1998/awesome-deep-gnn: Papers about developing deep Graph Neural Networks (GNNs)：关注GNN深度的相关工作
图神经网络随机删减方法
AAAI 2023 | DropMessage: 图神经网络随机删减方法的归并统一
图联邦学习
图上的模型编辑
(2023) Editable Graph Neural Network for Node Classifications
(2023 TFS) Fuzzy Representation Learning on Graph
大规模GNN
1. 图采样
  (2023 ICLR) LMC: Fast Training of GNNs via Subgraph Sampling with Provable Convergence：LMC 具有极低的计算开销；并且，理论证明：LMC 在子图上训练的 GNNs 的性能可媲美在全量图上训练的 GNNs，同时 LMC 能加速 GNNs 收敛。²¹
符号网络signed network：网络中每条边带了正负sign
1. balanced：每个环的所有边的sign的乘积都是正数
2. balanced edge set
图预训练模型
我搞不懂的，我只觉得他们牛逼
(2023 WWW) GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks
(2023 KDD) When to Pre-Train Graph Neural Networks? From Data Generation Perspective!

5. KG

知识图谱指南：从理论到应用 - 知乎
实体对齐
知识图谱补全KG Completion
query answering
TransE
TransR
DistMult
实体消歧
本体对齐ontology alignment

6. W3C规范

RuleML
SWRL (Semantic Web Rule Language)：以语义的方式呈现规则的一种语言
OWL本体论

7. 时间序列分析

可以参考我之前撰写的博文：从隔壁老王开始的信号处理入门

语音处理
1. speech recogniton
2. speech synthesis

8. CV

点云
object classification
目标检测object detection
1. two-stage detector：faster RCNN, RFCN
2. one-stage detector：YOLO, SSD
边界框bounding box
object segmentation
语义分割
实例分割
style transfer
降噪denoising
image generation
image caption
ViT
MLP-Mixer：总之感觉就是用MLP和别的一些基础模块替代transformer里的模块
1. 深度学习之图像分类（二十一）-- MLP-Mixer网络详解_木卯_THU的博客-CSDN博客_mlp-mixer
可解释性
1. CAM方法：看起来意思是把原本的预测头换成池化层，然后加权求和其池化结果，最后得到图上的重点部分吧
  01 CAM方法（《CAM：Learning Deep Features for Discriminative Localization》） - 知乎
   可解释性（一）之CAM和Grad_CAM_cam grad_打着灯笼摸黑的博客-CSDN博客
常用工具包：OpenCV，OpenMMlab

9. 其他CS相关

万物互联IoE：Internet of Everything
模块化
重构
事件日志
过程挖掘PM (process mining)
1. 过程挖掘（Process Mining）1——始于颜值_hyhy12580的博客-CSDN博客_process mining
软件测试
1. Metamorphic testing - Wikipedia
数据结构
1. static structure - segment tree：存储一个整数序列的树（反正就这种感觉）
  
  Segment Tree - GeeksforGeeks：上图也源自该文（感觉有点复杂，还没仔细看）
2. Trie树 / 字典树：在字符串集合中快速查找某个字符串，合并重复前缀
3. 前缀表示法 / 普通波兰表示法
4. 栈
算法
1. 校验和算法：Luhn算法/模10算法
  Luhn算法_百度百科
FPGA
元胞自动机cellular automata (CA)
元胞自动机_百度百科
跳板机
矩阵分解
1. PCA
2. SVD
张量分解
1. 机器学习｜Tucker张量分解 - 知乎
计算机体系结构
1. cuda
2. GPU
3. OpenCL
4. 异构计算
5. AI编译器
6. compiler
7. LLVM
8. TensorRT
9. TVM
10. MLIR
11. Neon
栈帧stack frame
1. 栈帧（Stack Frame）_ATFWUS的博客-CSDN博客
²²抽象语法树（Abstract Syntax Tree，AST）
语法树（Syntax tree）
是源代码语法结构的一种抽象表示。它以树状的形式表现编程语言的语法结构，树上的每个节点都表示源代码中的一种结构。
具体语法树
分析树
语法分析（英语：syntactic analysis，也叫parsing）
安全
1. 红队：红队是在军事演习、网络安全演习等领域中扮演敌人或竞争对手角色的群体，扮演己方角色的则称作蓝队。
  在兵棋推演时，红队假设为敌方部队，并站在敌方角色立场来思考作战，红队成员中至少有一部分在演习前不能将身份告知蓝队。
  （来源：https://zh.wikipedia.org/zh-cn/紅隊）
2. red teaming：模仿真实场景进行攻击
  定义：Red teaming, also known as red cell, adversary simulation, or Cyber Red Team, involves simulating real-world cyber attackers’ tactics, techniques, and procedures (TTPs) to assess an organization’s security posture.（来源：What is Red Teaming & How it Benefits Orgs）

10. 其他数学

最优传输optimal transport
1. 最优传输简介 - Kawayikiwi的文章 - 知乎
分布相似度
Wasserstein距离_wasserstein distance_Wanderer001的博客-CSDN博客
1. Kullback-Lieber (KL) 散度
2. JS散度：具有对称性
3. Wasserstein距离 / 推土机距离Earth Mover’s distance
随机过程
1. 伊辛模型Ising model
泰森多边形 / 冯洛诺伊图（Voronoi diagram）：这玩意有点复杂，我也没太看懂
泰森多边形_百度百科

11. 其他术语

asynchronous异步的
深度学习数据集的In-the-Wild是什么意思? - 知乎：大概来说就是指应用于真实场景
auxiliary task
out of the box开箱即用
in-domain
out-of-domain
open-domain
POS tag
数据分析领域的专业术语
1. 用户画像²³
lay summary：给外行看的摘要
Lay Summary是什么？为什么要写好外行也能看懂的lay summary?
计算机各领域的著名会议/期刊（NCS显然是另一种级别的，别说了，别说了.jpg）
1. NLP: EMNLP, ACL, COLING, NAACL, IP&M
2. CV: CVPR
3. AI: AAAI, KDD, WSDM
4. 计算机底层系统：OSDI
Prolog逻辑编程语言

12. 常用专业工具

有些我其他博文里写了的，就不再赘述了。

数据打标：doccano, prodigy, label studio
使用文本标注工具-doccano - 简书
数据分析/处理/挖掘工具包：numpy, pandas, SciPy
（我的意见是学好Excel，走遍天下都不怕）
除Python以外常用的数据分析工具：R, MATLAB, Lingo
Python包管理工具：Anaconda
Python编程工具（IDE等）：VSCode, CodeBlock, PyCharm
深度学习已组装好的环境：colab
可视化工具包：matplotlib, seaborn
专门做PyTorch网络可视化的工具：torchsummary
机器学习工具包：sklearn
深度学习框架：PyTorch, TensorFlow（以前还有Keras，现在Keras和TensorFlow合并了）, PaddlePaddle, Caffe（已经快没人用了吧）
自然语言处理工具包：transformers（同属huggingface旗下的包还有datasets, sentence-transformer）, fastText, sent2vec,spacy, NLTK, torchtext, gensim
GNN工具包：DGL, PyG, NetworkX
代码运行日志记录工具：logging, wandb, tensorboard, tensorboardX, fitlog
我写的wandb教程：wandb使用教程（持续更新ing…）
我写的fitlog教程：fitlog使用教程（持续更新ing…）
文本摘要指标rouge相关：pyrouge和rouge在Linux上的安装方法以及结果比较
大数据工具：Hadoop, Spark
科研绘图软件：PPT, PS, Visio
思维导图工具：XMind, MindMaster