大数据发展前沿 期末总结复习

其实就是简单的在网上搜了一下每个重要词条的基本概念。

1、对抗学习（含Pytorch最简单的深度学习命令）

生成对抗网络（GAN）是非监督式学习的一种方法，透过两个神经网络相互博弈的方式进行学习。生成对抗网络由一个生成网络与一个判别网络组成。生成网络以随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

2、智慧警务

智慧警务主要体现在以下四点：视频和人脸抓拍摄像枪、治安广播系统、可视频化快速指挥调度系统、整合对接公安体系网络平台。

3、推荐系统

推荐系统是一种信息过滤系统，用于预测用户对物品的“评分”或“偏好”。
推荐系统产生推荐列表的方式通常有两种：协同过滤以及基于内容推荐，或者基于个性化推荐。协同过滤方法根据用户历史行为结合其他用户的相似决策建立模型。这种模型可用于预测用户对哪些物品可能感兴趣。
基于内容推荐利用一些列有关物品的离散特征，推荐出具有类似性质的相似物品。两种方法经常互相结合。

4、CLIP模型

解决的问题：

1、当前CV数据集标注劳动密集，成本高昂。
2、当前模型只能胜任一个任务，迁移到新任务上非常困难；
3、当前模型泛化能力较差。

解决方法：

1、互联网容易搜集到大量成对的文本和图像。
2、互联网上存在的这些CV数据集数量和差异都很大，增强了模型的泛化能力。

重要意义：

CLIP 真的把自然语言级别的抽象概念带到计算机视觉里。对于任意一个分类模型，只要加上一个 CLIP，模型马上就被扩展了。

5、RE-ID行人重识别

行人重识别（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。
给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。

发展方向：

自然语言检索、利用生成数据辅助训练、迁移学习

6、知识图谱

知识图谱本质上是一种揭示实体之间关系的语义网络。
知识图谱可以实现Web从网页链接向概念链接转变，支持用户按主题而不是字符串检索，真正实现语义检索。
基于知识图谱的搜索引擎，能够以图形方式向用户反馈结构化的知识，用户不必浏览大量网页即能准确定位和深度获取知识。
在知识表示中，知识图谱是一种知识库，其中的数据通过图结构的数据模型或拓扑整合而成。知识图谱通常被用来存储彼此之间具有相互联系的实体。

应用领域：

智能搜索、深度问答、社交网络、垂直行业应用。(chatGPT)

技术难点：

NLP，机器理解文字信息。知识的获取，知识的融合。

---

附：Pytorch常用命令