论文阅读
文章平均质量分 82
翻一下经典论文,好让自己也深刻理解
赫凯
人生如逆旅,我亦是行人。
展开
-
论文阅读 Forecasting at Scale (二)
最近在看时间序列的文章,回顾下经典。原创 2023-11-22 20:39:05 · 816 阅读 · 0 评论 -
论文阅读 Forecasting at Scale (一)
预测是一项常见的数据科学任务,能够帮助组织进行容量规划、目标设定和异常检测。尽管其重要性不言而喻,但在生产可靠且高质量的预测时面临着严峻挑战,特别是当涉及到多样的时间序列且具有时间序列建模专业知识的分析师相对稀缺时。为了解决这些挑战,我们描述了一种实用的、可扩展的预测方法,将可配置的模型与分析师参与的性能分析相结合。我们提出了一个模块化回归模型,具有可解释的参数,可以由对时间序列具有领域知识的分析师直观地调整。我们描述了性能分析来比较和评估预测过程,并自动标记需要人工审查和调整的预测。原创 2023-11-22 19:09:04 · 1074 阅读 · 2 评论 -
论文阅读 关联规则挖掘综述
关联规则挖掘是为了搜索事物数据库中属性之间的关系。规则发现的整个过程非常复杂,包括预处理技术、规则挖掘步骤和后处理,其中进行了可视化处理。发现的关联规则的可视化是整个关联规则挖掘管道中的一个重要步骤,以加强用户对规则挖掘结果的理解。在过去的几十年中,已经开发了一些关联规则挖掘和可视化的方法。本文旨在建立一个文献综述,确定发表在同行评议文献中的主要技术,研究每种方法的主要特征,并介绍该领域的主要应用。确定该研究领域的未来步骤是本评论文章的另一个目标。原创 2023-04-27 12:22:02 · 891 阅读 · 1 评论 -
论文阅读 A Survey of Large Language Models 3
为了检验LLM的有效性和优越性,大量的任务和基准被用来进行实证评估和分析。我们首先介绍了LLM语言生成和理解的三种基本评估任务,然后介绍了LLM具有更复杂设置或目标的几个高级任务,最后讨论了现有的基准和实证分析。在这一部分中,我们主要关注LLM的三种评估任务,即语言生成、知识利用和复杂推理。值得注意的是,我们不打算完全覆盖所有相关的任务,而是只关注LLMs最广泛讨论或研究的任务。接下来,我们将详细介绍这些任务。根据任务定义,现有的语言生成任务大致可以分为语言建模任务、条件文本生成任务和代码合成任务。请注意原创 2023-04-06 18:20:57 · 1364 阅读 · 1 评论 -
论文阅读 A Survey of Large Language Models 2
其中,使用LM目标进行预训练似乎可以实现优越的零样本和少样本泛化能力。通过扩展模型大小、数据集大小和总计算量,可以大幅提高随意解码器的性能。由于对编码器-解码器模型的详细调查仍不足,需要更多的研究来分析架构和预训练任务的选择如何影响LLM的能力,特别是对于编码器-解码器架构。除了主要架构外,LLM的详细配置也值得关注。原创 2023-04-05 11:01:01 · 1070 阅读 · 0 评论 -
论文阅读 A Survey of Large Language Models 1
讨论了机器语言智能的发展,特别是大规模预训练语言模型(PLMs)。该综述详细介绍了语言模型从统计语言模型,神经语言模型到预训练语言模型(PLMs)的演变。作者强调,大规模LLM超出某一参数大小的模型扩展导致了新的能力的出现。这种现象导致了强大的人工智能聊天机器人的创建,例如ChatGPT,可以解决复杂的任务,展现了与人类极佳的对话能力。该综述强调了评估和了解LLMs的性能的必要性,包括它们的预训练、适应性调整、利用和容量评估。原创 2023-04-05 09:39:56 · 1104 阅读 · 1 评论 -
论文阅读 DeepGCNs: Can GCNs Go as Deep as CNNs?
在过去的几年里,GCNs获得了很大的发展势头。这种兴趣的增加主要归因于两个因素:现实世界应用中的非欧几里得数据越来越多,以及CNN在处理这些数据时性能有限。GCNs直接在非欧几里得数据上操作,对于依赖这种信息模式的应用是非常有前途的。目前,GCNs被用来预测社交网络中的个体关系,为药物发现建立蛋白质模型,加强推荐引擎的预测,有效分割大型点云,以及其他领域。CNN成功背后的一个关键原因是能够设计并可靠地训练非常深的CNN模型。原创 2022-12-29 11:00:17 · 472 阅读 · 0 评论 -
论文阅读 前向正演算法(The Forward-Forward Algorithm)
这篇论文的目的就是为深度学习神经网络,引入了一种新的学习过程,并且在一些小的问题中进行尝试,效果很不错,值得再深入探究下去。原创 2022-12-09 15:45:14 · 1690 阅读 · 0 评论 -
论文阅读 AutoGluon-Tabular
1、开源框架,在结构化数据里表现优异,只需要一行Python就可以在未处理的表格数据集(如CSV文件)里处理,超参数什么的都不用设置,自动进行。2、测评了市面上主流的AutoML框架,AutoGluon更快、更健壮、更准确。机器学习发展势头良好,但是机遇与风险并存。AutoML框架提供了一个诱人的替代方案。对于新手来说,他们消除了部署高性能ML模型的许多障碍。对于专家来说,它们提供了只实现一次最佳ML实践的潜力(包括模型选择、集成、超参数调优、特征工程、数据预处理、数据拆分等策略),然后能够重复部署它们。原创 2022-11-02 13:55:53 · 931 阅读 · 2 评论 -
论文阅读 TalkNet2
最近忙着找工作,又要搞毕业论文,都没时间记录了,就写一下。TalkNet 2: Non-Autoregressive Depth-Wise Separable Convolutional Model for Speech Synthesis with Explicit Pitch and Duration Prediction做了个小DemoNVIDIA的一篇论文,采用流行的非自回归学习网络,以及将网络结构进行调整,主要采用深度可分离卷积。PS. NVIDIA用深度可分离的残差卷积结构,把语音领域的任原创 2022-03-25 10:52:02 · 608 阅读 · 0 评论 -
2021-07-15
http://www.tlhiv.org/rast2vec/https://www.tablesgenerator.com/原创 2021-07-15 16:25:09 · 91 阅读 · 0 评论 -
若干文章
Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis 2018就把情绪信息和说话人的信息,添加在embedding里,词嵌入,之后的decoder该怎么训还怎么训Towards End-to-End Prosody Transfer for Expressi...原创 2020-06-02 20:24:43 · 508 阅读 · 0 评论 -
论文阅读 Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis
Style Tokenss摘要摘要在这里,我们提出一个“global style token”,在Tacotron(最先进的端到端语音合成系统)中经过共同训练的一堆嵌入内容。嵌入没有明确的标签,就学会了大规模的声学表示。...原创 2020-03-04 11:39:28 · 2810 阅读 · 5 评论 -
论文阅读 Attention Is All You Need
注意力机制的基本思想和实现原理Attention Is All You Need摘要1 引言2 背景摘要优势序列转导模型基于复杂的递归或卷积神经网络,包括编码器和解码器。表现最佳的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构,即Transformer,它完全基于注意力机制,完全消除了重复和卷积。在两个机器翻译任务上进行的实验表明,这些模型在质量上具有优势,同时具有更...原创 2020-03-02 15:45:22 · 961 阅读 · 0 评论 -
论文阅读 FastSpeech
FastSpeech摘要引言摘要端到端的网络发展得特别迅猛了,像突出的方法Tacotron 2通常先从文本中生成梅尔频谱图,然后再使用声码器把梅尔频谱图合成为语音。对比传统的拼接和参数调节方法,端到端的神经网络生成速度慢,而且合成的语音也不稳健(有些单词跳过了,或者重复)和缺乏控制(声音的速度和韵律控制)。在这个方法中,我们提出了一种基于Transformer新的前馈网络,可为TTS并行生成梅...原创 2020-02-24 09:51:16 · 2708 阅读 · 0 评论 -
论文阅读 WAVEGLOW
WAVEGLOW摘要引言摘要在本文提出了WaveGlow:一种依靠流的从梅尔频谱图合成高质量语音的网络。它结合了Glow和WaveNet,生成的快、好、高质量的韵律,而且还不需要自动回归。实现也只是一个单网络,仅使用单个成本函数进行训练:最大化训练数据的可能性,这使训练过程简单且稳定。我们的用了PyTorch实现,结果也蛮好的,和最佳公开的WaveNet效果相同。引言机器语音互动变的越来越...原创 2020-02-17 10:53:13 · 4281 阅读 · 0 评论 -
论文阅读 Tacotron2
Tacotron2摘要引言摘要这篇论文描述了Tacotron2,一个从文字直接转化为语音的神经网络。这个体系是由字符嵌入到梅尔频谱图的循环序列到序列神经网络组成的,然后是经过一个修改过后的WaveNet,该模型的作用是将频谱图合成波形图。这个模型取得了不错的效果MOS4.53。为了验证我们的设计选择,我们介绍了系统关键组件的简化测试以及评估了使用梅尔频谱图作为WaveNet的条件输入的影响(不...原创 2020-02-12 16:52:37 · 2696 阅读 · 0 评论 -
论文阅读 Tacotron
换语音方向啦,接受了,不过有点难呢先看经典论文 Tacotron摘要吐槽了之前多阶段的模型,现在提出一个端到端的,整体化训练,取得了不错的效果呢1 引言最开始的现代TTS模型,统计参数话的声码器通常是由几个部分组成:文本前端来提取各种语言特征、持续时间模型、声学特征预测模型和复杂的基于信号处理的声码器。这些都是依据声学领域的知识进行设计,而且他们都是独立去训练。单独训练的话,就有可能造成...原创 2020-02-10 16:32:04 · 2404 阅读 · 0 评论