![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 76
沐风—云端行者
够不着吧?左脚踩右脚上试试……
展开
-
【TensorFlow深度学习】自我监督学习的理论基础与未来挑战
自我监督学习正处于快速发展的阶段,它不仅为无标注数据的高效利用开辟了新途径,也为解决机器学习领域长期存在的数据依赖和泛化难题提供了新的思路。面对未来的挑战,理论的深化、技术的创新与跨领域的合作将共同推动SSL迈向更高的发展阶段,开启人工智能的新纪元。随着研究的不断深入,我们有理由相信,自我监督学习将在更多领域展现其独特价值,引领下一代人工智能技术的发展。原创 2024-07-01 07:15:00 · 1036 阅读 · 0 评论 -
【TensorFlow深度学习】图神经网络的自我监督预训练策略
自我监督预训练策略为图神经网络提供了一种强大且灵活的方法,能够在缺乏标签数据的情况下学习到富有表达力的图表示。GCC和GraphCL只是冰山一角,更多的创新正在不断涌现,包括但不限于结合生成和对比学习的混合模型,以及半监督自我训练策略,这些都进一步推动了图学习领域的发展。随着算法的不断优化和应用场景的拓宽,自我监督预训练策略有望成为推动图神经网络实用化的重要驱动力。原创 2024-07-01 07:15:00 · 540 阅读 · 0 评论 -
【TensorFlow深度学习】图像旋转预测:一个无监督表征学习的实践案例
数据准备:对原始图像进行随机旋转,生成四个可能的角度(0°, 90°, 180°, 270°)的变体。模型架构:选择一个卷积神经网络(CNN),如ResNet,作为特征提取器。旋转预测:在特征提取之后,添加一个全连接层来预测图像的旋转角度。损失函数:采用交叉熵损失来衡量预测角度与实际旋转角度的差距。原创 2024-06-30 07:30:00 · 469 阅读 · 0 评论 -
【TensorFlow深度学习】对比学习的核心:实例与上下文的对抗
对比学习的基本思想在于“学习比较”,它不依赖于人工标注,而是通过设计特定的预训练任务,让模型学会从海量无标签数据中识别和提取有用的特征。核心在于构造一个损失函数,鼓励模型将不同视图下的同一实例表示得更加接近(正样本对),同时远离不同实例的表示(负样本对)。这一策略在图像分类、自然语言处理等多个领域展现出了惊人的效果。对比学习通过实例与上下文的精妙对抗,成功地在无标注数据中挖掘出有价值的信息,推动了深度学习模型在各种任务上的性能边界。原创 2024-06-30 07:30:00 · 686 阅读 · 0 评论 -
【TensorFlow深度学习】混合生成模型:结合AR与AE的创新尝试
混合生成模型代表了自我监督学习中一种创新的思路,通过整合AR模型的序列理解和AE模型的数据重构能力,开辟了新的应用场景和性能提升空间。混合生成模型的出现,旨在集两者之所长,构建更加灵活且强大的学习框架。在自我监督学习的广阔天地里,混合生成模型以其独特的魅力,跨越了自回归(AR)模型与自动编码器(AE)的界限,探索了一条融合两者的创新之路。在NLP领域,如GPT系列,通过Transformer架构实现文本的自回归生成,其模型架构允许输入序列中的每个词仅依赖于它之前的词,这在语言建模任务中取得了显著成效。原创 2024-06-29 07:00:00 · 927 阅读 · 0 评论 -
【TensorFlow深度学习】自我编码器的演变:从基础AE到变分AE模型
在自我监督学习框架下,AE不仅在降维和特征学习上展现出了非凡的能力,而且通过变分AE(Variational Autoencoder, VAE)的引入,更是将生成模型推向了一个新的高度。本文将追溯AE的发展脉络,重点分析基础AE到变分AE的转变,探讨其背后的理论支撑与应用价值,并通过关键代码片段展示这一演变过程。从基础AE到变分AE的进化,不仅是技术上的突破,也是对数据本质理解的深化。未来,随着对变分推断技术的进一步优化和新架构的探索,自我编码器将继续在深度学习领域扮演重要角色,引领更多创新应用的诞生。原创 2024-06-29 07:00:00 · 364 阅读 · 0 评论 -
【TensorFlow深度学习】流动模型的力量:从Flow-based模型看生成式自我监督学习
Flow-based模型,作为生成模型家族的一员,通过一系列可逆变换,将复杂的高维数据分布转化为简单的基础分布(如高斯分布)。这种变换的逆过程允许我们从基础分布中采样,并通过逆变换得到原始数据分布的样本,从而实现数据的生成。与其他生成模型相比,Flow-based模型的一大优势在于能直接计算数据点的概率,这在某些需要精确概率估计的任务中尤为重要。Flow-based模型以其强大的生成能力和精确的概率评估,在生成式自我监督学习领域展现了巨大潜力。原创 2024-06-28 07:45:00 · 824 阅读 · 0 评论 -
【TensorFlow深度学习】大模型参数与算力资源匹配:深度探索与实践
通过持续的技术创新,如算法优化、软硬件协同设计以及智能资源调度,我们可以更好地平衡模型性能与资源消耗,推动AI技术的可持续发展。未来,随着量子计算、光计算等前沿技术的成熟,大模型的训练与应用将进入一个全新的纪元,开启智能计算的新时代。根据OpenAI的报告,自2012年以来,训练最先进的AI模型所需的计算量大约每3.4个月翻一番,这一速度远超摩尔定律。:一项研究显示,对于语言模型,随着参数量的增加,模型的困惑度(Perplexity,衡量语言模型预测准确性的指标)显著下降。原创 2024-06-25 11:24:50 · 292 阅读 · 0 评论 -
【计算机视觉】浅谈计算机视觉中的Transformer
随着深度学习的发展,Transformer模型在自然语言处理领域取得了巨大成功。近年来,Transformer也逐渐被引入到计算机视觉领域,并在多个任务中展现出强大的性能。本文首先简要介绍Transformer的基本网络结构,然后分析其在计算机视觉中的典型应用与实验,最后展示关键代码实现。Transformer模型在计算机视觉领域的应用已经取得了显著的成果。随着研究的深入,未来Transformer在计算机视觉领域的应用将更加广泛。原创 2024-02-06 16:54:34 · 2062 阅读 · 0 评论 -
【微调大模型】如何利用开源大模型,微调出一个自己大模型
微调(Fine-tuning)是一种将预训练模型应用于特定任务的方法。通过微调,我们可以让预训练模型学习特定任务的参数,从而在新的任务上获得更好的性能。与从头开始训练模型相比,微调可以大大节省计算资源和时间成本。原创 2024-01-26 17:46:45 · 1589 阅读 · 0 评论 -
【数学基础】P问题-NP问题-NP-c问题-NP-hard问题常见辨析
P问题:排序问题、查找问题。NP问题:旅行商问题、图的着色问题、背包问题。NP-complete问题:图的着色问题、哈密尔顿回路问题、3-SAT问题。NP-hard问题:图的同构问题、子集和问题、0-1背包问题。原创 2023-10-10 15:13:16 · 285 阅读 · 0 评论 -
梯度下降算法
(1) f(x ,y ) = x 2 + 20y*2(2) f(x ,y ) =x 2+ 20y2+0.01(x2 +y2 )2(3) f(x ,y ) =x 2+0.01(x2 +y2 )2(4) f(x ,y ) = x2 y2(5) f(x ,y ) = (xy = 1)2原创 2023-07-31 00:58:56 · 251 阅读 · 0 评论