striving长亮-CSDN博客

转载【算法基础】什么是P问题、NP问题以及NPC问题？

作为一个困扰众多OIer的概念之一，什么是P问题、NP问题和NPC问题是一个重要的区分标准，正是因为NPC问题的存在，P=NP变得难以置信。P=NP问题还有许多有趣的东西，有待大家自己进一步的挖掘。攀登这个信息学的巅峰是我们这一代的终极目标。现在我们需要做的，至少是不要把概念弄混淆了。......

2022-07-15 23:35:17 926 2

原创【ML4CO基础】Attention, learn to solve routing problems(Wouter Kool, 2018)

与以往的工作相比，本文采用Attention代替RNN(LSTMs)，引入节点输入顺序的不变性，提高了学习效率。此外，为提高计算效率，使得并行化成为可能，MHA可以被看作是一种消息传递算法，它允许节点在不同的信道上传递相关信息，使得来自编码器的节点嵌入可以学习在图的上下文中包括关于节点的有价值的信息。作为一种基于图的方法，我们的模型增加了scaling的潜力（与LSTMs相比），因为它可以应用在稀疏图上并在局部操作。现如今AM已经成为组合优化问题中一个常用的baseline，作为其改进程度的量化。....

2022-07-14 19:24:05 1479 2

原创【ML4CO基础】Pointer Networks原理及代码实现分析(Oriol Vinyals, 2015)

Pointer Networks天生具备输出元素来自输入元素这样的特点，于是它非常适合用来实现“复制”这个功能，这就造成了目前Ptr-Nets成为文本摘要方法中的利器的局面。此外，在组合优化领域，Ptr-Nets也得到了广泛的应用，并已成为组合优化问题的端到端方法的入门模型，后来基于此模型，研究者也进行了很多改进。总之，Ptr-Nets为组合优化的端到端解决办法起了一个好头，并促使广大研究者进行更加深入的研究............

2022-07-11 18:10:24 2023 5

原创【自然语言处理】4. 爆火的Transformer，到底火在哪？

与传统的 Soft Attention相比， Self-Attention 可有效缩短远距离依赖特征之间的距离，更容易捕获时间序列数据中相互依赖的特征，在大多数实际问题中，Self-Attention 更被研究者们所青睐，并具有更加优异的实际表现。完全不依赖于RNN结构仅利用Attention机制的Transformer是如今的一个热门使用模型，大大促进了包括自然语言处理在内的众多领域的发展，对于Transformer模型结构的应用以及改进也是如今的一个热点研究方向，值得众多研究者深入探讨。........

2022-06-27 18:52:19 747 3

原创【CIPS 2016】(18-20章)多模态信息处理、医疗健康信息处理、少数民族语言文字信息处理 (研究进展、现状&趋势)

《中文信息处理发展报告（2016）》是中国中文信息学会召集专家对本领域学科方向和前沿技术的一次梳理，官方定位是深度科普，旨在向政府、企业、媒体等对中文信息处理感兴趣的人士简要介绍相关领域的基本概念和应用方向，向高校、科研院所和高技术企业中从事相关工作的专业人士介绍相关领域的前沿技术和发展趋势。本专栏主要是针对《中文信息处理发展报告（2016）》做的笔记知识整理，方便日后查看。...

2022-04-28 14:39:15 1901

原创【ML4CO论文精读】具有离散拆分送货和取货的车辆路径问题的禁忌搜索算法(Meng Qiu, 2018)

离散拆分交付(DSPDP)和取货的车辆路径规划问题(VRP)是拆分交付和取件的车辆路径问题的变体，其中客户的需求在批次（或订单）方面是离散的。它存在于物流配送的实践中，包括设计一组成本最低的路线来服务给定的一组客户，同时尊重车辆容量的限制。本文对其特点进行了分析。提出了一种数学模型和禁忌搜索算法，特别设计了批量组合和项目创建操作。批量组合操作旨在避免不必要的旅行成本，而项目创建操作有效地加快了搜索速度，增强了算法搜索能力。并且提供了计算结果并与文献中的其他方法进行了比较。.........

2022-03-20 11:30:00 995

原创【ML4CO论文精读】用于组合优化的机器学习：方法论之旅(Yoshua Bengio, 2021)

本文调查了最近从机器学习和运筹学的社区,在利用机器学习来解决组合优化问题的尝试。考虑到这些问题的本质,最先进的算法依赖手工制作的启发式决策,否则计算或数学不定义良好的成本太高。因此,机器学习看起来像一个自然的候选人做出这样的决策原则和优化方法。我们倡导推动进一步一体化的机器学习和组合优化和细节的方法。论文的主要观点是认为通用的优化问题是数据和查询是什么问题用于学习的相关分布在一个给定的任务。......

2022-03-06 18:00:50 2414

原创【ML4CO论文精读】基于深度强化学习的组合优化问题研究进展(李凯文, 2020)

组合优化问题广泛存在于国防、交通、工业、生活等各个领域, 几十年来, 传统运筹优化方法是解决组合优化问题的主要手段, 但随着实际应用中问题规模的不断扩大、求解实时性的要求越来越高, 传统运筹优化算法面临着很大的计算压力, 很难实现组合优化问题的在线求解. 近年来随着深度学习技术的迅猛发展, 深度强化学习在围棋、机器人等领域的瞩目成果显示了其强大的学习能力与序贯决策能力. 鉴于此, 近年来涌现出了多个利用深度强化学习方法解决组合优化问题的新方法, 为组合优化问题的求解提供了一种全新的思路......

2022-01-30 15:38:47 4520

原创【CIPS 2016】(17章)文字识别 (研究进展、现状&趋势)

文字识别（Character Recognition），广义地称为文档分析（Document Analysis），是对文档图像中的文字进行分割、识别，将文档从图像转换为电子文本的技术。具体内容包括文档图像预处理、版面分析、字符切分、字符识别、文本行识别等。文字识别技术是中文信息处理中非常重要的一环，最近五年，随着数码相机和智能手机的普及使随时随地拍照识别成为可能，加上技术的进一步发展，文字识别迎来了一个新的应用高潮，不断产生新的应用模式和技术需求。...

2021-12-02 15:24:35 2976

原创【CIPS 2016】(16章)语音技术 (研究进展、现状&趋势)

语音合成（Speech Synthesis），也称为文语转换,它是将任意的输入文本转换成自然流畅的语音输出。语音识别（Automatic Speech Recognition, ASR）是指利用计算机实现从语音到文字自动转换的任务。说话人识别（Speaker Recognition），或者称为声纹识别（Voiceprint Recognition, VPR），是根据语音中所包含的说话人个性信息，利用计算机以及现在的信息识别技术，自动鉴别说话人身份的一种生物特征识别技术。...

2021-12-01 18:38:02 787

原创【CIPS 2016】(15章)社会媒体处理 (研究进展、现状&趋势)

社会媒体处理（Social Media Processing, SMP）是从社会媒体数据中挖掘、分析和表示有价值信息的过程。社会媒体处理研究的目标就是通过挖掘社会媒体中用户生成内容和社交关系网络，来衡量用户之间的相互作用，进而发现这其中蕴含的特定模式来更好地理解人类行为特点。社会媒体打破了现实世界与虚拟世界之间的边界，使得可以从海量的社会媒体数据中挖掘人类行为模式，进而对人类个体及群体进行全面的剖析和理解，这在社会媒体出现前是根本无法完成的任务。因此，社会媒体处理在现实生活和工作中具有重要的社会需求。.

2021-12-01 18:12:44 900

原创【CIPS 2016】(13-14章)自动问答、机器翻译 (研究进展、现状&趋势)

自动问答（Question Answering, QA）是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。问答系统是信息服务的一种高级形式，近年来，随着人工智能的飞速发展，自动问答已经成为倍受关注且发展前景广泛的研究方向。机器翻译（machine translation，MT）是指利用计算机实现从一种自然语言到另外一种自然语言的自动翻译。机器翻译研究的目标就是建立有效的自动翻译方法、模型和系统，打破语言壁垒，最终实现任意时间、任意地点和任意语言的自动翻译，完成人们无障碍自由交流的梦想。...

2021-11-22 23:36:46 1156 1

原创【CIPS 2016】(11-12章)信息检索、信息推荐与过滤 (研究进展、现状&趋势)

信息检索（Information Retrieval, IR）是指将信息按一定的方式加以组织，并通过信息查找满足用户的信息需求的过程和技术。互联网搜索引擎为人们提供了访问海量网络信息的高效便捷渠道，从而深刻的改变了人们的认知过程和信息获取方式。信息推荐与过滤(Information Recommendation and Filtering)简称信息推荐，是指根据用户的习惯、偏好或兴趣，从不断到来的大规模信息中识别满足用户兴趣的信息的过程。当前众多电商网站都大量运用信息推荐技术。...

2021-11-15 19:07:10 2063 1

原创【CIPS 2016】(8-10章)信息抽取、情感分析&自动文摘 (研究进展、现状&趋势)

信息抽取（Information Extraction）是指从非结构化/半结构化文本（如网页、新闻、论文文献、微博等）中提取指定类型的信息（如实体、属性、关系、事件、商品记录等），并通过信息归并、冗余消除和冲突消解等手段将非结构化文本转换为结构化信息的一项综合技术。如何理解和分析情感信息的表达方式对于提高人机交互、自然语言理解等人工智能任务的能力具有重要意义。如何将用户从长篇累牍的文字阅读中解放出来是大数据时代面临的一个挑战，自动文摘技术则是应对该项挑战的一件利器。...

2021-11-08 23:40:34 2617 1

转载【闲记】Monarch: 谷歌的大规模内存时序数据库

Monarch 是谷歌的一个全球分布式内存时序数据库。它是一个多租户的服务，通常用于监控谷歌内部那些服务于数十亿用户的系统的可用性，正确性，性能，负载以及其他各方面。每秒钟，Monarch采集了TB级别的时序数据到内存，并且支撑了数百万的查询。Monarch有一个region化的架构用于支撑自身的可用性与可扩展性，在这之上有全局的配置管理和查询系统将这些region化的服务整合成一个统一的系统。Monarch在它的分布式架构之上，提供了灵活的配置，表达能力强的关系数据模型，以及强大的查询能力。...

2021-11-07 21:24:22 1126 1

原创【CIPS 2016】(6-7章)知识图谱、文本分类与聚类(研究进展、现状&趋势)

知识图谱（Knowledge Graph，KG）旨在描述客观世界的概念、实体、事件及其之间的关系。谷歌于 2012 年 5 月推出谷歌知识图谱，并利用其在搜索引擎中增强搜索结果，标志着大规模知识图谱在互联网语义搜索中的成功应用。另一方面，现实世界中人们获取的大部分信息以文本的形式存在，例如书籍、报刊、电子邮件和 Web 页面等。随着互联网的高速发展，海量文本数据不断产生，这些数据中蕴含大量有用信息。因此，针对这些文本信息的文本挖掘（Text Mining）技术受到人们的广泛关注。...

2021-11-02 18:57:22 3121 2

原创【CIPS 2016】(4-5章)语言认知模型、语言表示以及深度学习(研究进展、现状&趋势)

认知语言学（cognitive linguistics）是认知科学（cognitive science）与语言学交叉的一个研究分支，是研究人脑的思维、心智、智能、推理和认识等认知机理及其对语言进行分析和理解过程的一门学问。语言表示是对人类语言的一种描述或约定，是认知科学、人工智能等多个领域共同存在的问题。随着信息技术的快速发展，我们完全有理由相信，语言认知计算模型以及语言表示的研究的春天已经到来，其研究成果必将在自然语言处理等相关领域中发挥重要的作用。...

2021-10-29 16:53:23 1265 1

原创【CIPS 2016】(1-3章)词法、句法、语义、语篇分析(研究进展、现状&趋势)

当前已经进入以互联网、大数据和深度学习为标志的海量信息时代，互联网和机器学习技术的快速发展对中文信息处理提出了许多新的挑战。从实现快速计算、记忆与存储的“计算智能”，到识别处理语音、图像、视频的“感知智能”，再到实现思考、理解、推理和解释的“认知智能”，新一代人工智能技术也正在从“感知智能”向“认知智能”迈进。自然语言处理中的自然语言句子级分析技术，可以大致分为词法分析、句法分析、语义分析三个层面。因此对NLP中词法、句法、语义、语篇分析的研究进展、现状以及发展趋势有一个大概的了解至关重要。...

2021-10-28 22:24:01 2213 1

原创【自然语言处理】3. NMT机器翻译案例实战(基于TensorFlow Addons Networks with Attention Mechanism)

以案例实现为材料，本文用一章节的内容给大家详细介绍一下Attention模型。这个案例主要是利用tfa框架Sequence to Sequence Model Architecture中的Attention以及Encoder-Decoder方法实现神经机器翻译（Neural Machine Translation，NMT），当然翻译的准确性不可能像BERT之类的那么好，但可以作为一个入门实验，通过这个案例，大家应该对Attention的使用有了更清晰、更全面的认识。......

2021-08-27 15:30:08 1539 5

原创【自然语言处理】2. Attention实现详细解析( tfa, keras 方法调用源码分析 & 自建网络)

最近几年，Attention模型在NLP乃至深度学习、人工智能领域都是一个相当热门的词汇，被学术界和工业界的广大学者放入自己的模型当中，并得到了不错的反馈。再加上BERT的强势表现以及Transformer的霸榜，让大家对Attention变得更加感兴趣，本人在上一篇文章对Attention模型的机制原理进行了详细的介绍分析，有兴趣的可以自行查看哟。纸上得来终觉浅，绝知此事要躬行。机制原理、理论讲的再好，没有实验证明也白搭。实践是检验真理的唯一途径。本文对Attention实现进行了详细解析。...

2021-08-20 22:02:35 2832 4

原创【自然语言处理】1. 细讲：Attention模型的机制原理

NLP系列讲解笔记最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理（Natural Language Processing, NLP）、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一，甚至于是传统的时序数据的预测，都很容易遇到注意力模型的身影。而Transformer所采用的主要算法模型即Attention，所以，了解注意力机制的工作原理至关重要。...

2021-08-18 16:14:01 2258 9

长亮-一个奋斗ing的CSer