- 博客(55)
- 收藏
- 关注
RSS订阅原创 【论文精读】4-GAN论文逐段精读
这篇论文提出了一种新的生成模型框架——生成对抗网络（GANs）。GANs由两个部分组成：一个生成器和一个判别器。生成器的目标是生成尽可能真实的数据，以欺骗判别器，而判别器的目标是尽可能准确地区分真实数据和生成的数据。这种设置形成了一个对抗的游戏，通过这个游戏，生成器可以学习生成更真实的数据。
2023-06-26 17:38:11
402
原创 【论文精读】2-ResNet论文逐段精读
本文提出了一种新的深度学习框架——残差网络（ResNet），有效地解决了深度神经网络中的退化问题。作者通过引入“短路连接”来构建深度残差网络，使得网络可以直接将输入特征传递到后面的层。
2023-06-26 10:24:40
476
原创 AlexNet论文逐段精读【论文精读】
AlexNet这篇论文介绍了一种深度卷积神经网络（CNN）的设计和实现，该网络在ImageNet LSVRC-2010比赛中的图像分类任务上取得了显著的成果。这个网络包含6000万个参数和650,000个神经元，由五层卷积，一些最大池化层，和三个全连接层组成。这个网络也是第一个在ImageNet数据集上训练的大规模CNN。这个网络的设计和实现，以及其在ImageNet比赛中的成功，标志着深度学习在计算机视觉领域的重要突破。
2023-06-26 09:10:34
459
原创 矩阵对角化
矩阵对角化是指将一个方阵通过相似变换化为对角矩阵的过程。设AAA是一个n×nn \times nn×n的方阵，如果存在一个可逆矩阵PPP和一个对角矩阵DDDP−1APDP−1APD那么，我们说矩阵AAA可以对角化。对角矩阵DDD的对角线元素即为矩阵AAA的特征值，而矩阵PPP的列向量是对应于特征值的特征向量。本文详细介绍了矩阵对角化的定义、条件和步骤，以及矩阵对角化在计算矩阵幂、指数、多项式等方面的应用。
2023-05-15 23:32:38
2686
1
原创 特征值和特征向量
对于一个n×nn \times nn×n的方阵AAA，如果存在一个标量λ\lambdaλ和一个非零向量xxxAxλxAxλx那么，我们称λ\lambdaλ为矩阵AAA的特征值，xxx为对应于特征值λ\lambdaλ的特征向量。本文详细介绍了特征值和特征向量的定义、性质和计算方法，以及特征多项式和相似矩阵的概念、性质和应用。特征值和特征向量是线性代数中的重要概念，它们在矩阵分析、微分方程、动力系统等领域都有广泛的应用。
2023-05-15 23:29:59
934
原创 矩阵分析-行列式
行列式是与方阵相关的一个数学概念，它是一个标量值，具有许多重要性质和应用。本文详细介绍了行列式的定义、性质和计算方法，以及克拉默法则求解线性方程组的原理和应用。行列式是线性代数中的一个重要概念，它在解析几何、微分方程、线性方程组求解等方面都有广泛的应用。克拉默法则是一种基于行列式的求解线性方程组的方法，适用于系数矩阵可逆的情况。掌握这些知识对于解决实际问题具有重要意义。
2023-05-15 23:28:34
2468
原创 矩阵分析-矩阵的秩
这个过程会将矩阵化简为行阶梯形矩阵，从而得到矩阵的秩。需要注意的是，这个算法适用于实数矩阵，如果矩阵中包含复数元素，需要进行相应的调整。行阶梯形矩阵是指矩阵中每一行的首个非零元素所在的列号严格递增的矩阵。矩阵的秩是指矩阵中线性无关的行（或列）的最大数量。求矩阵的秩是线性代数中的一个重要问题，它可以帮助我们了解矩阵的性质以及线性方程组的解的情况。将给定的矩阵进行行变换，目标是将其化简为行阶梯形矩阵。从第一行开始，将该行的首个非零元素变为1（通过第二种行变换），并使用第三种行变换将该列下方的元素全部变为0。
2023-05-15 23:27:11
715
原创 线性方程组
本文详细介绍了线性方程组的表示、高斯消元法以及高斯-若尔当消元法。线性方程组是数学中的一种基本问题，它在科学计算、工程技术、经济管理等领域都有广泛的应用。高斯消元法和高斯-若尔当消元法是求解线性方程组的两种常用方法，它们通过一系列的行变换将增广矩阵化简，从而得到方程组的解。掌握这些方法对于解决实际问题具有重要意义。
2023-05-15 23:23:28
870
原创 矩阵的基本概念和运算
矩阵是数学中的一种基本工具，它是由一组数值按照一定的行列排列而成的矩形数表。下面我们详细介绍矩阵的定义、表示以及常见的矩阵类型。矩阵的乘法要求第一个矩阵的列数等于第二个矩阵的行数。设矩阵AaijA=(a_{ij})Aaij是mmm行ppp列的矩阵，矩阵BbijB=(b_{ij})Bbij是ppp行nnn列的矩阵，则矩阵AAA与BBB的乘积记作ABABAB，它是一个mmm行nnnABij∑k1paik⋅bk。
2023-05-15 23:19:12
3228
原创 矩阵分析大纲
需要注意的是，矩阵分析是一个广泛且深入的领域，上述大纲只是对其进行了概括性的介绍。实际上，每个主题都可以进行更深入的探讨，并且可能涉及更多的定理、证明和算法。因此，如果您希望深入学习矩阵分析，建议参考专业的教材和参考书籍，以便更全面地了解这个领域的知识。此外，矩阵分析在许多学科中都有广泛的应用，包括线性代数、数值分析、计算机科学、工程学、物理学、经济学、优化理论等。这些主题覆盖了矩阵分析的核心内容，并为进一步深入学习矩阵分析提供了基础。矩阵分析是数学中的一个分支，它研究矩阵及其性质。奇异值分解（SVD）
2023-05-15 23:11:12
199
原创 矩阵分析-LU分解
LU分解（LU decomposition）是一种将一个方阵分解为一个下三角矩阵（Lower triangular matrix）和一个上三角矩阵（Upper triangular matrix）的乘积的方法。LU分解的Doolittle算法是一种将方阵分解为下三角矩阵L和上三角矩阵U的乘积的方法，其中L的对角线元素均为1。Crout算法是一种LU分解的变体，它将方阵分解为下三角矩阵L和上三角矩阵U的乘积，其中U的对角线元素均为1。需要注意的是，LU分解不唯一，不同的消元顺序可能导致不同的L和U矩阵。
2023-05-15 23:08:20
3883
1
原创 GNN-谱图卷积
谱图卷积是一种基于图的谱表示（即图的拉普拉斯矩阵的特征分解）的图卷积方法。谱图卷积的核心思想是将图信号（节点特征）转换到图的谱域（频域）中进行处理，然后再转换回空间域。这种方法的灵感来源于信号处理中的傅里叶变换和频域滤波。谱图卷积的基础是图的拉普拉斯矩阵（Laplacian matrix），它是一种描述图结构的重要矩阵。LD−A其中，L是拉普拉斯矩阵，D是图的度矩阵（对角矩阵，对角线元素为每个节点的度数），A是图的邻接矩阵。LUΛUT其中，U是拉普拉斯矩阵的特征向量矩阵，
2023-05-15 23:03:28
451
原创 图神经网络
图神经网络（Graph Neural Network，GNN）是一类用于处理图结构数据的深度学习模型。图结构数据中的实体以节点的形式表示，实体之间的关系以边的形式表示。GNN的目标是从图结构数据中学习有用的表示，并利用这些表示进行各种任务，例如节点分类、图分类、链接预测等。本文将详细介绍图神经网络的原理、数学公式、Python代码实现以及各部分的原理分析。内容将分为以下几个部分：一、图神经网络的基本概念二、图神经网络的主要变体及原理分析三、图神经网络的数学公式推导。
2023-05-15 23:00:51
1732
原创 AI时代-系统和系统的连接的时代
ChatGPT，作为OpenAI的一部分，现在拥有近百个插件，这些插件的含义就是系统。每次可以连接三个插件，一次性选择多个插件，意味着系统和系统的组合与连接，可以带来161700种可能性。随着插件的数量越来越多，而且OpenAI能够一次性连接插件的数量得到扩展，我们将进入系统对接的指数爆炸时代。
2023-05-14 12:44:40
101
原创 ChatGPT所有插件详细教程
分析数据，执行代码，并可视化结果，在实时协作的伙伴是ChatGPT的并排体验中。描述：KalendarAI的SalesGPT在30秒内从4亿多家公司中生成与您的潜在客户的会议。描述："今天就订购送货或取货的杂货\n无论您想要什么，都可以从当地的商店直接送到您的门口。描述：解锁您的PDF的力量！描述：用Speak，您的AI驱动的语言导师，学习如何用另一种语言说任何事情。描述：执行基本的算术运算，如加法、减法、乘法、除法、乘方和平方根的插件。描述：获取您的投资组合的详细评估，并拉取个别证券的12个月预测回报。
2023-05-14 10:35:34
5298
原创 推荐系统之特征工程
这种策略的基本假设是，如果我们没有任何关于用户的特定信息，那么我们可以假设他们的行为是平均的。这种策略的基本假设是，如果我们没有任何关于物料的特定信息，那么我们可以假设它的性能是平均的。"幸存者偏差"是一种常见的统计偏差，它发生在我们只观察到"幸存"的样本，而忽略了那些"未幸存"的样本。在推荐系统的上下文中，"幸存者"可能指的是那些已经被消费过的物料，而"未幸存"的可能是那些还未被消费过的物料。例如，你可以基于物料的内容或者其他特性来预测它们的受欢迎程度，或者你可以在一开始就给新物料更多的曝光机会。
2023-05-13 17:48:31
648
原创 推荐算法实战
推荐算法实战特征工程为什么说，用物料的后验消费数据做召回存在“幸存者偏差”？能将这些消费数据用于排序吗？使用物料的后验消费数据做召回，会放大“马太效应”，对新物料不友好，如何缓解？解释什么是bias特征？你能举出哪些bias特征的例子？bias特征怎样接入模型？能否和其他正常特征一起喂入DNN底层？为什么？某男性新用户对“体育”这个分类的喜好程度未知，如何填充？某新物料的后验指标未知，如何填充？对观看次数、观看时长这样的特征，如何做标准化？某个物料曝光2次，被点击1次，如何计算它的CTR
2023-05-13 17:44:28
396
原创 Word2vec
Word2vec是一种用于生成词向量的模型，它能够将词语映射到一个连续的向量空间中，使得语义相近的词语在向量空间中的距离也相近。词向量是自然语言处理中的一种重要技术，它能够捕捉词语之间的语义和语法关系，为文本分析、情感分析、文本分类等任务提供有力支持。Word2vec是一种常用的词嵌入算法，它能够将词语映射到一个连续的向量空间中，使得语义相近的词语在向量空间中的距离也相近。Word2vec包括两种模型：CBOW模型和Skip-gram模型，分别通过上下文词预测目标词和通过目标词预测上下文词。
2023-05-07 13:32:58
1161
原创 词嵌入（Word Embedding）
词嵌入（Word Embedding）是自然语言处理中的一种技术，它能够将词语映射到一个连续的向量空间中，使得语义相近的词语在向量空间中的距离也相近。词嵌入在自然语言处理的许多任务中都有广泛应用，例如文本分类、情感分析、命名实体识别等。本文将详细介绍词嵌入的基本原理、常见算法（Word2Vec、GloVe等）、计算方法，并提供相应的Python代码示例和LaTeX公式推导。词嵌入是一种将词语表示为连续向量的技术，它能够捕捉词语之间的语义关系。词嵌入的重要性在于：Word2Vec是一种常用的词嵌入算法，它包括
2023-05-07 13:32:29
1131
原创 主题模型（Topic Model）
主题模型是自然语言处理中的一种常用模型，它能够自动从大量文档中提取主题信息。本文详细介绍了主题模型的基本原理、常见算法（LSA、PLSA、LDA）以及它们的计算方法，并提供了相应的Python代码示例。Medium文章Aminer研究报告。
2023-05-07 13:30:25
862
原创 TF-IDF
TF-IDF是一种常用于信息检索和自然语言处理的加权技术，它结合了词频和逆文档频率两个指标，用于衡量一个词在文档中的重要程度。本文详细介绍了TF-IDF的基本原理、计算方法、实践应用，并提供了相应的Python代码示例。
2023-05-07 13:28:21
190
原创 词袋模型（Bag of Words）
词袋模型是自然语言处理和信息检索中的一种常用文本表示方法，它将文本表示为一个词的集合，忽略词语的顺序和语法结构，只关注词语的出现频率。本文详细介绍了词袋模型的基本原理、构建步骤、实践方法，并提供了相应的Python代码示例。
2023-05-07 13:27:52
4205
原创 机器学习之特征工程
特征工程是机器学习中的一个重要环节，它涉及到对原始数据进行处理和转换，以便更好地适应机器学习模型的训练和预测。特征工程的目标是提取有意义的特征，以便提高模型的性能和准确性。本文将详细介绍特征工程的基本原理、步骤和实践方法，并提供相应的Python代码示例。特征工程是指通过对原始数据的处理和转换，生成能够更好地反映数据特点的特征，以便提高机器学习模型的性能。特征工程的主要目标是提取有意义的特征，以便更好地描述数据，并提高模型的准确性和泛化能力。特征工程的重要性在于：结构化数据是指具有固定格式和结构的数据，例如
2023-05-07 13:25:49
131
原创 MuZero
MuZero的核心原理在于它能够学习一个隐式的环境模型，并通过这个模型预测未来的状态、奖励和游戏终止情况。以下是一个简化的MuZero算法的Python代码实现示例，其中包含了表示函数、动态函数、价值函数以及蒙特卡洛树搜索的实现。请注意，这是一个简化版本的实现，仅用于演示MuZero的核心思想，实际应用中的实现可能更加复杂。MuZero的数学公式分析主要涉及到神经网络模型的表示函数、动态函数和价值函数的定义，以及蒙特卡洛树搜索的选择策略。MuZero的隐式环境模型是通过神经网络实现的。后的下一个隐藏状态；
2023-05-07 13:23:05
329
原创 AlphaZero：自我对弈下的深度强化学习突破
AlphaZero作为一种通用的深度强化学习算法，通过自我对弈的方式实现了在围棋、国际象棋和将棋等棋类游戏中的超人表现。它的成功不仅为围棋人工智能带来了突破，也为人工智能领域提供了新的研究方向和启示。未来，AlphaZero的原理和方法有望被应用于更多复杂数学和策略问题的解决。
2023-05-07 13:19:48
2631
原创 MuZero：无模型强化学习的创新突破
是的，论文中的实验及结果很好地支持了需要验证的科学假设。传统的强化学习算法通常依赖于已知的环境模型或者通过与环境交互学习模型，而MuZero能够在没有事先知道环境动力学的情况下，通过学习隐式模型实现高效的强化学习。在MuZero之前，许多强化学习算法依赖于已知的环境模型或者通过与环境交互学习模型，而MuZero的出现使得无模型强化学习成为可能。这篇文章要验证的科学假设是：通过学习一个隐式的环境模型，并结合蒙特卡洛树搜索，可以实现高效的无模型强化学习，并在多种棋类游戏和Atari游戏中取得超越人类的表现。
2023-05-07 13:19:34
493
原创 AlphaGo Zero：深入解析与评估
AlphaGo Zero的出现标志着围棋AI领域的一个重要里程碑。它通过自我对弈的方式，完全不依赖人类知识，实现了从零开始学习围棋的目标，并在短时间内达到了超越人类顶尖棋手的水平。这一成就不仅为围棋AI的发展提供了新的方向，也为深度强化学习和自主学习的研究提供了宝贵的经验。未来，AlphaGo Zero的方法有望被应用到更多复杂的决策问题和实际应用场景中，为人类解决现实世界中的问题提供帮助。
2023-05-06 00:15:54
245
原创 AlphaGo：策略网络、价值网络与蒙特卡洛树搜索的深入解析
AlphaGo是围棋人工智能的重要突破，它通过策略网络、价值网络和蒙特卡洛树搜索的结合实现了超越人类水平的围棋对弈能力。本文深入探讨了这三个关键组成部分的原理，并提供了简化的Python代码实现。AlphaGo的成功不仅为围棋AI提供了新的思路，也为人工智能领域的其他问题提供了有益的启示。
2023-05-06 00:14:45
1394
原创 AlphaGo：人工智能围棋的突破性成就
AlphaGo是由DeepMind Technologies开发的一款人工智能（AI）程序，它在围棋领域取得了开创性的成就。本文将深入探讨AlphaGo的关键组成部分，包括策略网络、价值网络和蒙特卡洛树搜索，并回答关于AlphaGo的一系列问题。
2023-05-06 00:14:18
335
原创 从GPT到BERT：自然语言处理中的生成预训练模型与双向编码器模型
GPT（Generative Pre-trained Transformer）是一种生成预训练模型，它使用Transformer模型的解码器部分进行预训练和微调。GPT模型在自然语言生成、文本分类、问答系统等任务中表现出色，并成为了许多先进模型的基础，例如GPT-2、GPT-3等。BERT（Bidirectional Encoder Representations from Transformers）是一种双向编码器模型，它能够生成双向上下文词嵌入。
2023-05-06 00:10:03
1679
原创 从Elmo到GPT：自然语言处理中的上下文词嵌入与生成预训练模型
Elmo（Embeddings from Language Models）是一种上下文词嵌入模型，它能够生成词的动态表示，即词的表示会根据上下文而变化。Elmo模型在自然语言处理任务中表现出色，例如命名实体识别、情感分析、文本分类等。GPT（Generative Pre-trained Transformer）是一种生成预训练模型，它使用Transformer模型的解码器部分进行预训练和微调。
2023-05-06 00:08:55
329
原创 从Transformer到Elmo：自然语言处理中的自注意力模型与上下文词嵌入
Transformer模型是一种自注意力模型，它使用自注意力机制来捕捉序列中的全局依赖关系。Transformer模型在机器翻译、文本生成、语言理解等任务中表现出色，并成为了许多先进模型的基础，例如BERT、GPT等。Elmo（Embeddings from Language Models）是一种上下文词嵌入模型，它能够生成词的动态表示，即词的表示会根据上下文而变化。Elmo模型在自然语言处理任务中表现出色，例如命名实体识别、情感分析、文本分类等。
2023-05-06 00:07:05
179
原创 Seq2Seq到Seq2Seq with Attention：自然语言处理中的序列模型与注意力机制
序列到序列（Seq2Seq）模型是一种端到端的深度学习模型，用于处理输入序列和输出序列的对应关系。Seq2Seq模型广泛应用于机器翻译、语音识别、文本摘要等任务。注意力机制（Attention Mechanism）是一种用于提升神经网络性能的技术，它允许模型在处理序列数据时关注输入序列中的某些部分。注意力机制在自然语言处理、计算机视觉和语音识别等领域有广泛应用。
2023-05-06 00:05:57
184
原创 Word2Vec到Seq2Seq
Word2Vec是一组用于生成词向量的浅层神经网络模型，包括CBOW（Continuous Bag of Words）和Skip-Gram两种架构。CBOW通过上下文词预测目标词，而Skip-Gram则通过目标词预测上下文词。序列到序列（Seq2Seq）模型是一种端到端的深度学习模型，用于处理输入序列和输出序列的对应关系。Seq2Seq模型广泛应用于机器翻译、语音识别、文本摘要等任务。2.2 Seq2Seq模型原理Seq2Seq模型由编码器（Encoder）和解码器（Decoder）两部分组成。
2023-05-06 00:04:56
128
原创 Transformer
在自然语言处理（NLP）领域，深度学习模型的发展一直在不断推进。从最初的神经网络语言模型（NNLM）到现在的BERT，这些模型在处理文本数据的能力上有了显著的提升。本文将详细介绍这些模型的发展历程，以及它们的基本原理和应用场景。我们将逐步理解Word2Vec、Seq2Seq、带注意力机制的Seq2Seq、Transformer、Elmo、GPT和BERT，并通过Python代码和LaTeX公式进行详细解析。
2023-05-06 00:02:06
98
原创 NNLM与Word2Vec：自然语言处理中的词向量生成模型
语言模型是自然语言处理中的一个核心概念，它用于计算一个词序列的概率。传统的语言模型通常基于n-gram模型，但n-gram模型存在稀疏性问题和泛化能力不足的问题。Word2Vec是一组用于生成词向量的浅层神经网络模型，包括CBOW（Continuous Bag of Words）和Skip-Gram两种架构。CBOW通过上下文词预测目标词，而Skip-Gram则通过目标词预测上下文词。本文详细介绍了NNLM和Word2Vec这两种生成词向量的模型及其原理，并通过Python代码和数学公式进行了解释。
2023-05-06 00:02:04
356
1
原创 Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种基于Transformer的预训练模型，能够捕捉词汇在上下文中的双向关系。本文详细介绍了Word2Vec、Seq2Seq、Transformer、GPT和BERT这几种重要的NLP模型及其原理，并通过Python代码和数学公式进行了解释。这些模型在自然语言处理领域具有广泛的应用，并为人工智能的发展做出了重要贡献。
2023-05-05 23:54:39
477
原创 推荐系统 LS-PLM大规模分段线性模型
推荐系统是一种信息过滤系统，它通过分析用户的历史行为和偏好，为用户提供个性化的产品或服务推荐。LS-PLM（Large-Scale Piecewise Linear Model）大规模分段线性模型是一种推荐算法，它通过将连续特征进行分段线性化处理，实现对用户行为的精确建模，从而提高推荐的准确性和效果。推荐系统是一种智能化的信息过滤技术，它通过分析用户的行为数据、兴趣偏好以及上下文信息，为用户提供个性化的产品或服务推荐。
2023-05-05 00:34:08
225
原创 GBDT+LR——特征工程模型化
本文详细介绍了GBDT+LR模型的原理、模型训练、数学推导以及Python实现。GBDT+LR模型是一种两阶段的集成模型，它通过GBDT模型自动提取特征，并将提取的特征输入到逻辑回归模型中进行分类预测。这种模型化的特征工程方法能够有效提升模型的预测性能，并减少人工特征工程的工作量。GBDT+LR模型在推荐系统、点击率预估、风险评估等任务中都有广泛的应用。通过本文的介绍，希望读者能够深入理解GBDT+LR模型的原理，并在实际项目中灵活应用。
2023-05-05 00:31:43
583
原创 FM到FFM——自动特征交叉
本文详细介绍了因子分解机（FM）和场感知因子分解机（FFM）的原理、数学推导以及Python实现。FM和FFM是推荐系统中常用的自动特征交叉模型，能够有效捕捉特征之间的相互作用关系，从而提升模型的预测性能。FM模型通过引入隐向量实现了特征之间的二阶交叉，而FFM模型在FM的基础上引入了“场”的概念，使得模型能够区分不同场的特征交叉。这两种模型在推荐系统、点击率预估等任务中都有广泛的应用。需要注意的是，虽然FM和FFM能够自动进行特征交叉，
2023-05-05 00:30:11
413
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人