xiaoqianlizhen的博客

​大数据时代数据多，然而有标注的数据非常有限，并且对于一些专业性强的领域，标注数据也是非常困难。因此如何去学习数据自身的特性，比较数据间的差异，通过表示每个数据的独特特征来省去标注的过程。对比学习就是一次比较好的尝试。对比学习介绍对比学习是通过学习对两个事物的相似或不相似进行编码来构建表征。最简单的方法是正样本是通过作为给定样本的数据增强生成的，负样本是batch中随机采样的，目标是判别否来源于同一样本。对比学习的优势1. 无需标签信息，在大规模无监督数据中自动构造监督...

长文档预训练模型基于Transformer的模型已经引领NLP领域，然而基于Transformer的方法随着输入文本长度的增加，计算量剧增，并且Transformer能处理的句子长度受限，已有的方法大多使用截断的方式，这会导致信息损失，因此如何实现长文本的预训练是目前的一大难题。长文档的预训练模型 Longformer: The Long-Document Transformer，2020论文主要采用局部注意力和全局注意力结合的机制避免以往直接对长文本进行切分导致的信息损失，Longf.

域适应是对于存在一些有少量或者没有标注数据的领域完成针对性任务的一个有效手段，目前对于很多任务只要有大量标注数据都能达到比较好的效果，然而标注数据的成本是高昂的，尤其是对某些专业性强的术语多的领域，标注就更困难。因此如何将已经在别的领域训练过得模型用到其他领域非常值得研究。​01 域适应情感分类论文：Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning，AAAI2020以往.

使用graph来表示对象之间的复杂关系和依赖关系，然而graph数据的复杂已有的机器学习算法很难处理，所以使用深度学习方法来处理。A Comprehensive Survey on Graph Neural Networks论文回顾图神经网络（GNN）在文本挖掘和机器学习领域的发展，将GNN划分为递归图神经网络、卷积图神经网络、图自编码和时空图神经网络四类。此外还讨论图神经网络跨各种领域的应用、总结开源代码、数据集和图神经网络评价指标。最后给出可能的研究方向。作者提到基于欧氏距离计算的数...

详见专知分享：https://mp.weixin.qq.com/s/yqARcPx4eIof5LQDLvdZew一、一些多标签文本分类的开源工具：1. https://github.com/nocater/baidu_nlp_project22. https://github.com/TianWuYuJiangHenShou/textClassifier3.https://github.com/Tencent/NeuralNLP-NeuralClassifier/二、文本分类模型：...

入门知识图谱时构建的思维导图，欢迎大家指正。

1、对于单身狗，刚开学一定要多参加活动，这是脱单的最佳时期，后面再想脱单就难了；2、至少实习过一次，实习不一定会给我们带来很多技术上的收获，但可以丰富我们的简历，我觉得更重要的是对上班工作有一定的认知。3、培养至少一个兴趣爱好，乏味的实验室生活可能会拉低你的幸福感，在科研不下去或空闲时间，做一些感兴趣的事。4、掌握至少一项专业技能，以我做IT的为例，开发至少要熟练掌握一门编程语言，算法...

前两天有人专门加微信咨询我关于我详细介绍的针对预定电影票的多轮对话系统（End-to-End Task-Completion Neural Dialogue Systems），见github：https://github.com/xiaoqian19940510/TC-Bot我写的思维导图见下图：...

星际争霸游戏的微操：https://github.com/xiaoqian19940510/sparcraft，后面上传我设计的算法下面这些是星际争霸游戏ai里效果较好的算法，需要的可以私信我

目前只有alphazero的python版本：https://github.com/xiaoqian19940510/Gomoku，后面会写alphago版和alphago zero版，并做对比。

1、基础理论知识书籍：《Reinforcement Learning：An Introduction》、《深入浅出强化学习》视频课程：https://edu.csdn.net/course/detail/49162、小实验http://gym.openai.com/envs/#algorithmichttps://github.com/xiaoqian19940510?tab=...

You Only Look Once: Unified, Real-Time Object Detection论文链接：https://arxiv.org/pdf/1506.02640.pdfyolo官网：https://pjreddie.com/darknet/yolo/ ...

GAN及其改进算法GAN：G生成器生成数据，G判别器判别生成器生成的数据是否是真实的数据。也就是生成器拟合真实数据的分布。所以对于不同数据集，分布会不同，也就需要重新训练，非常麻烦。SRGAN：有一个生成器和一个判别器，判别器的主体使用 VGG19，生成器是一连串的 Residual block 连接，同时在模型后部也加入了 subpixel 模块，让图片在最后面的网络层才增加分辨率，...

attention机制类似是一个划重点的过程encoder后的内容可能会比较多，由于时间序列输出长度固定的局限性，加入attention，根据任务的不同重点关注特定的slot，然后在decoder这个attention可以是一个匹配机制（矩阵变换、余弦相似度），也可以是一个简单的神经网络（根据隐层输出作为输入，输出是action）。空间注意力时间注意力Soft Attentio...