人工智能与神经元的内容梳理（持续更新）

一、背景

在过去的几年中，深度学习模型已应用于不同领域的各种任务/应用。随着深度学习在不同领域的成熟和数量的增加，我决定整理相关资料来进行学习。

二、预备基础

神经元（选读）阅读

三、书籍

1.《微积分》

1. 函数极限与连续性
2. 导数与微分
3. 不定积分
4. 定积分
5. 常微分方程与数学模型
6. 函数可积性与广义积分
7. 无穷级数
8. 幂级数与傅里叶级数
9. 空间解析几何
10. 多元函数微分学
11. 重积分
12. 曲线积分和曲面积分
13. 向量场初步
14. 高阶线性常微分方程

2.《线性代数》

1. 行列式
2. 线性方程组
3. 矩阵及其运算
4. 线性空间与线性变换
5. 矩阵的特征值与二次型
6. 向量空间
7. 有限维向量空间
8. 线性映射
9. 多项式
10. 本征值与本征向量
11. 内积空间
12. 内积空间上的算子
13. 复向量空间上的算子
14. 实向量空间上的算子
15. 迹与行列式

3.《统计学》

4.《Deep Learning》

1. 应用数学与机器学习基础
2. 深度网络与现代实践
3. 深度学习研究

四、社区与资源

1. https://arxiv.org/
2. https://paperswithcode.com/
3. https://www.kaggle.com/

五、工具与框架

• torch，torch 官方文档
• tensorflow2+，tensorflow官网 教程

前期预热

1. 深度学习研究综述
2. A Survey on Deep Learning: Algorithms, Techniques, and Applications

---

六、学习路径

1. 逻辑回归,线性回归

$$\begin{gathered} \hat{y}=\sigma (w^{T}x+b),where\sigma (z)=\frac{1}{1+e^{-z}} \\ x\in {\mathbb{R}}^n（\mathrm{模型的输入}，有n\mathrm{个特征}） \\ y\in [0,1]（\mathrm{模型的输出}，\mathrm{概率值}） \\ w\in {\mathbb{R}}^n,b\in R（\mathrm{模型参数}，\mathrm{训练的内容}） \\ \hat{y}=w^{T}x+b（\mathrm{线性回归}） \end{gathered}$$

2.损失函数

示例
$$\begin{gathered} \mathrm{特征}n维 \\ \begin{array}{c}数\\ 据\\ M\\ 条\end{array}\left|\begin{array}{cccc}a& b& c& \cdots \\ e& f& g& \cdots \\ h& i& j& \cdots \\ & ⋮& & \cdots \end{array}\right|\begin{array}{c}\mathrm{合格率}1\\ \mathrm{合格率}0\\ \mathrm{合格率}1\\ \end{array} \end{gathered}$$

设 $i\in [1,M]$，$\widehat{y_i}$代表概率，Target=1代表合格，Target=0代表不合格。

$$P(Target=1|x_i)=\widehat{y_i}$$
$$P(Target=0|x_i)=1-\widehat{y_i}$$
推得损失函数 L(w)：$L(w)={\prod }_{}{\widehat{y_i}}^{y_i}{(1-\widehat{y_i})}^{1-y_i}$，其中$y_i$代表真实值。
为了方便计算，以上公式做等价变换后可得：$L(w)={\sum }_{}[y_i\ln \left(\widehat{y_i}\right)+(1-y_i)\ln \left(1-\widehat{y_i}\right)]$

待更新

七、相关论文¹

由于在深度学习领域发表的作品数量众多，下面是在顶级期刊上发表（或正在审查）的综合调查论文

一. 计算机视觉相关(Computer Vision Related Surveys)

在这里，我们提供了一份针对计算机视觉中的深度学习应用的列表。

A). 物体检测(Object Detection)

通用对象检测的深度学习：调研 (IJCV, 2019)
使用深度学习进行对象检测：回顾 (IEEE TNNLS, 2019)
基于深度学习的目标检测综述 (IEEE Access, 2019)
用于对象检测的深度学习的最新进展 (Neurocomputing, 2020)

B). 图像分割(Image Segmentation)

使用深度学习进行图像分割：一项调研 (IEEE PAMI, 2021)
图像和视频语义分割的深度学习技术综述 (Applied Soft Computing, 2018)

C). 医学图像分割(Medical Image Segmentation)

医学图像分割的深度学习技术：成就与挑战 (Journal of Digital Imaging, 2018)
综述：使用多模态融合进行医学图像分割的深度学习 (Elsevier Array, 2019)
自动乳腺超声图像分割：一项调研 (Pattern Recognition, 2018)

D). 人脸识别(Face Recognition)

深度人脸识别：一项调研 (Arxiv, 2019)
人脸识别系统：一项调研 (Sensors, 2020)

E). 生物特征识别(Biometrics Recognition)

使用深度学习的生物特征识别 (AIRE, 2022)
生物识别深度学习 (ACM CSUR, 2018)

F). 图像超分辨率(Image Super-Resolution)

图像超分辨率的深度学习：一项调研（PAMI，2020）
超分辨率深度之旅：一项调研（ACM CSUR，2020）

G). 面部表情识别(Facial Expression Recognition)

深度面部表情识别：一项调研（Arxiv，2019 年）

H). 动作识别(Action Recognition)

深入了解动作识别：一项调研（图像和视觉计算，2017 年）
人类行为识别和预测：一项调研（IJCV，2022 年）

I). 生成式对抗网络(GANs)

生成对抗网络：调查和分类法（Arxiv，2019 年）
生成对抗网络：对私有和安全应用程序的调查（ACM CSUR，2021）

J). 图片字幕(Image Captioning)

图像字幕深度学习综合调查（ACM Computing Surveys，2019）

K). 人体动作识别(Human Motion Recognition)

基于 RGB-D 的深度学习人体运动识别（计算机视觉和图像理解，2018 年）

L). 神经渲染(Neural Rendering)

神经渲染的最新技术（计算机图形论坛，2020 年）

二. NLP 相关(NLP Related Surveys)

在深度神经架构的帮助下，NLP 任务在过去几年取得了长足进步，例如：attentional LSTM, Transformer, BERT, GPT models, and XL-Net.

A). 通用自然语言处理(General NLP)

基于深度学习的文本分类：全面回顾 (ACM Computing Surveys, 2021)
基于深度学习的自然语言处理的最新趋势 (IEEE Computational intelligence magazine, 2018)

B). 对话系统，对话式人工智能(Dialogue Systems, Conversational AI)

对话式 AI 的方法（信息检索的基础和趋势®，2019 年）
以对话系统为重点的自然语言生成技术调查——过去、现在和未来的方向（Arxiv，2018）
对话系统调查：最新进展和新领域（Acm Sigkdd Explorations Newsletter，2017）

C). 嵌入(Embedding)

词嵌入 (Arxiv, 2019)
神经信息检索：文献综述 (Arxiv, 2016)

D). 自然语言生成(Natural Language Generation)

自然语言生成技术现状调查：核心任务、应用和评估 (Journal of Artificial Intelligence Research, 2018)

E). 文本摘要(Text Summarization)

使用序列到序列模型的神经抽象文本摘要（Arxiv，2019）

F). 情绪分析(Sentiment Analysis)

情绪分析的深度学习（Wiley 跨学科评论：数据挖掘和知识发现，2018 年）
基于方面的情感分析的深度学习：比较回顾 (Expert Systems with Applications, 2019)
社交媒体情绪分析调查（知识和信息系统，2019）

G). 命名实体识别(Named Entity Recognition)

深度学习模型命名实体识别的最新进展调查（Arxiv，2019）
命名实体识别深度学习调查 (Arxiv, 2018)

H). 答案选择(Answer Selection)

应用于答案选择的深度学习技术综述（第 27 届国际计算语言学会议论文集，2018 年）

I). 基于 NLP 的财务预测(NLP based Financial Forecasting)

基于自然语言的财务预测：调查（人工智能评论，2018 年）

三. 医疗保健相关(Healthcare Related Surveys)

深度学习模型

A). 医学图像分析(Medical Image Analysis)

医学图像分析中深度学习的调查（医学图像分析，2017）

B). 健康记录分析(Health-Record Analysis)

深度 EHR：电子健康记录 (EHR) 分析深度学习技术的最新进展调查（IEEE 生物医学和健康信息学杂志，2017 年出版）

C). 生物信息学(Bioinformatics)

生物信息学中数据挖掘和深度学习的调查（医疗系统杂志，2018）

D). 医学影像 (MRI - Medical Imaging)

以 MRI 为中心的医学成像深度学习概述（Zeitschrift für Medizinische Physik，2019）

E). 放疗(Radiotherapy)

放疗深度学习调查（生物医学计算机，2018）

F). 药物基因组学(Pharmacogenomics)

药物基因组学中的深度学习：从基因调控到患者分层（Future Medicine，2019）

G). 癌症检测和诊断(Cancer Detection and Diagnosis)

基于图像的癌症检测和诊断的深度学习（模式识别，2018 年）

H). 显微镜图像分析(Microscopy Image Analysis)

显微镜图像分析中的深度学习（EEE 神经网络和学习系统交易，2017 年）

I). 放射科(Radialogy)

放射学深度学习：概念概述和以 MRI 为重点的最新技术调查（磁共振成像杂志，2019 年）

四. 其他研究(Other Areas Surveys)

近年来，深度学习模型已被用于其他各个领域。一些最受欢迎的包括

A). 强化学习(Reinforcement Learning)

深度强化学习：概述 (Arxiv, 2017)
深度强化学习：简要调查（IEEE 信号处理杂志，2017 年）

B). 推荐系统(Recommender Systems)

基于深度学习的推荐系统：调查和新视角（ACM 计算调查，2019 年）

C). 大数据(Big Data)

大数据深度学习调查（Information Fusion，2018）

D). 联网(Networking)

移动和无线网络中的深度学习 (IEEE Communications Surveys, 2019)

E). 物联网大数据(IoT Big Data)

物联网大数据和流分析的深度学习 (Deep learning for IoT big data and streaming analytics: A survey., 2019)

F). 异常检测(Anomly Detection)

基于深度学习的网络异常检测综述 (Cluster Computing, 2017)

G). 遥感(Remote sensing)

遥感深度学习综合调查：社区的理论、工具和挑战 (Journal of Applied Remote Sensing, 2017)

H). 移动多媒体(Mobile Multimedia)

移动多媒体的深度学习 ( ACM Transactions on Multimedia Computing, Communications, and Applications, 2017)

I). 图论(Graphs)

图的深度学习 (Arxiv, 2018)
图嵌入技术、应用和性能 (Knowledge-Based Systems, 2018)

J). 多模式学习(Multimodal Learning)

深度多模式学习：最新进展和趋势调查 (IEEE Signal Processing Magazine, 2017)
深度多模态表示学习 (IEEE Access, 2019)

K). 农业(Agriculture)

农业深度学习 (Computers and electronics in agriculture, 2018)

---

1. https://github.com/shervinmin/awesome-deep-learning-survey-papers ↩︎