![](https://img-blog.csdnimg.cn/854d843b763f40d9b7ebaa895d887d53.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
人工智能(AI)
文章平均质量分 94
人工智能利用计算机和机器模仿人类思维的问题解决和决策制定能力。
Sonhhxg_柒
Save your heart for someone who cares. #愿岁月清净 抬头遇见皆是柔情#
展开
-
【NLP】利用 RAG 模分块技术提升文档处理效能
有效的分块,即将文档拆分为可管理的片段的过程,对于优化 RAG 系统的检索和嵌入步骤至关重要。通过利用 SBERT 和先进的平滑和聚类技术,这种方法比传统的文档分割方法有了显著的改进。此外,我们将介绍一种新颖的主题感知分块方法,该方法利用句子嵌入来识别文档中的主题转变。传统的分割技术(从简单的基于规则的方法到高级机器学习算法)都难以识别主题转换的精确点。通过采用这种方法,RAG 系统可以在其生成的内容中实现更高的准确性和相关性,使其更有效地完成复杂且知识密集型的任务。此方法非常适合需要连贯完整思想的任务。原创 2024-07-09 11:28:24 · 724 阅读 · 0 评论 -
【NLP】RAG 应用中的调优策略
检索增强生成应用程序的调优策略没有一种放之四海而皆准的算法能够最好地解决所有问题。本文通过数据科学家的视角审视检索增强生成(RAG)管道。它讨论了您可以尝试提高 RAG 管道性能的潜在“超参数”。与深度学习中的实验类似,例如,数据增强技术不是超参数,而是可以调整和实验的旋钮,本文还将介绍您可以应用的不同策略,这些策略本身不是超参数。本文涵盖以下按相关阶段排序的“超参数”。在RAG 管道的请注意,本文涵盖了 RAG 的文本用例。对于多模式 RAG 应用,可能需要考虑不同的因素。原创 2023-12-11 10:40:11 · 1723 阅读 · 0 评论 -
【NLP】培训LLM的不同方式
在大型语言模型(LLM)领域,存在多种具有不同手段、要求和目标的培训机制。由于它们有不同的用途,因此重要的是不要将它们相互混淆并了解它们适用的不同场景。在本文中,我想概述一些最重要的训练机制,包括预训练微调人类反馈强化学习 (RLHF)和适配器。此外,我将讨论提示的作用,提示本身不被认为是一种学习机制,并阐明提示调整的概念,它在提示和实际训练之间架起了一座桥梁。预训练预训练是最基本的训练方式,与您所知道的其他机器学习领域的训练相同。原创 2023-11-22 17:19:37 · 940 阅读 · 0 评论 -
【NLP】LLM 中 100K 上下文窗口背后的秘密:所有技巧都集中在一处
具有条件计算的 COLT5 Transformer 层的概述。人们想要申请法学硕士的重要用例之一是“将大量自定义数据放入LLM”(与公司或特定问题相关的文档、各种异构文本等)并提出有关该特定数据的问题,不是LLM在培训期间看到的一些来自互联网的抽象数据。我学到了很多东西,我希望你也学到了,现在我们可以猜测这些具有数十亿参数的大型语言模型是如何在前所未有的 65-100K 令牌上下文窗口中进行训练的。次迭代,因为上下文长度变得更大(为了简单起见,我们假设它是线性的,根据任务的不同,它可能是高估或低估)。原创 2023-11-17 11:33:13 · 1493 阅读 · 0 评论 -
【NLP】理解 Llama2:KV 缓存、分组查询注意力、旋转嵌入等
是 Meta AI 的开创性作品,作为首批高性能开源预训练语言模型之一闯入了 AI 场景。值得注意的是,,尽管其尺寸只是其一小部分。您无疑听说过 LLaMA 令人印象深刻的性能,但您是否想知道是什么让它如此强大?图 1:原始 Transformer 和 LLama 之间的架构差异检查图 1 揭示了从原始 Transformer 到突破性的 LLaMA 架构的深刻转变。LLaMA 2.0 牢固地植根于 Transformer 框架的基础,但它引入了独特的创新——SwiGLU和。原创 2023-11-13 13:58:56 · 3696 阅读 · 0 评论 -
【NLP】大型语言模型,ALBERT — 用于自监督学习的 Lite BERT
介绍近年来,大型语言模型的发展突飞猛进。BERT 成为最流行、最高效的模型之一,可以高精度地解决各种 NLP 任务。BERT 之后,一系列其他模型随后出现,也表现出了出色的效果。显而易见的趋势是,。深度学习研究表明,此类技术通常会带来更好的结果。不幸的是,机器学习世界已经解决了有关法学硕士的几个问题,可扩展性已成为有效训练、存储和使用它们的主要障碍。因此,最近开发了新的LLM来解决可扩展性问题。在本文中,我们将讨论 2020 年发明的 ALBERT,其目标是显着减少 BERT 参数。原创 2023-11-13 10:49:58 · 769 阅读 · 1 评论 -
【AI】自回归 (AR) 模型使预测和深度学习变得简单
通过为问题选择正确的工具,无论是基本的 AR 模型还是更复杂的模型,从业者都可以做出更准确的预测,并从时间序列数据中发现更深入的见解。深度学习中的自回归是指应用深度神经网络对序列数据进行建模和预测,其中序列中的当前值取决于先前的值。总体而言,自回归模型是时间序列分析和 NLP 的基本概念,为理解、预测和生成序列数据提供了强大的工具。在接下来的部分中,我们将从 AR(p) 模型的基础知识和自回归系数的作用开始,更深入地研究自回归模型的机制。自回归建模的核心是 AR(p) 模型,其中“p”代表模型的阶数。原创 2023-11-10 11:22:51 · 6721 阅读 · 1 评论 -
【NLP】DeepSpeed-FastGen:通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本
一、简介GPT-4 和 LLaMA 等大型语言模型 (LLM) 已成为服务于各个级别的人工智能应用程序的主要工作负载。从一般聊天模型到文档摘要,从自动驾驶到软件堆栈每一层的副驾驶,大规模部署和服务这些模型的需求猛增。虽然 DeepSpeed、PyTorch 等框架可以在 LLM 训练期间定期实现良好的硬件利用率,但这些应用程序的交互性和开放式文本生成等任务的较差算术强度已成为现有系统中推理吞吐量的瓶颈。为此,由 PagedAttention 提供支持的和等研究系统显着提高了 LLM 的推理性能。翻译 2023-11-10 11:00:29 · 1383 阅读 · 2 评论 -
【LLM】低成本进行半天的训练可产生与主流大型模型、开源且无商业的特定领域 LLM 解决方案类似的结果
在常见的英语评测排名中可以观察到,在MMLU排名中,Colossal-LLaMA-2-7B-base在低成本持续预训练的支持下,克服了灾难性遗忘的问题。用户只需要上传自己的数据进行微调,并且可以将微调后的模型以API的形式部署。因此,在兼顾训练质量和效率的情况下,经过大量实验,Colossal-AI团队决定将LLaMA-2的词汇量从原来的32,000个单词扩大到69,104个。纵观整个训练损失记录,很明显,在利用 Colossal-AI 系统的成本效益功能的同时,模型的收敛性也得到了很好的保留。翻译 2023-09-27 17:06:41 · 334 阅读 · 0 评论 -
【LLM】如何使用单个GPU 微调 Llama2
自然语言处理领域通过 ChatGPT 等大型语言模型 (LLM) 取得了令人难以置信的进步。然而,这些模型都有其局限性。他们可能会提出隐私问题,遵守一套固定的规则,并仅限于最后一次培训的日期。PaLM 和 GPT-3.5 等预训练 LLM 的另一个限制不是。这意味着开发人员和研究人员无法访问模型的内部工作原理,从而限制了他们根据特定用例微调和定制模型的能力。幸运的是,新时代已经到来,是Meta推出的开源LLM,它允许,减轻隐私问题并实现个性化的AI体验。此外,创新的。原创 2023-09-14 09:36:40 · 1931 阅读 · 3 评论 -
【LLM】微调LLM:LoRA 还是全参数?Llama 2 的深入分析
在本文中,我将全参数微调与 LoRA 进行比较,并回答有关这两种技术的优缺点的问题。使用 LoRA 涉及服务效率和模型质量之间的权衡,这根据手头的具体任务而变化。此外,我还提供有关如何通过智能提示技术稳定 LoRA 训练的见解。进一步表明,采用较低的学习率可以提高所得模型检查点的可靠性。近几个月来,开源LLM与 OpenAI 的专有模型展开了一场竞赛。提高开源 LLM 性能的一种流行策略是全参数微调。在该方法中,所有模型的参数都被优化。原创 2023-09-08 14:35:34 · 2739 阅读 · 2 评论 -
【AI】Diffusion Models
具有讽刺意味的是,扩散模型在图像中生成文本方面非常糟糕,尽管图像是根据文本提示生成的,而扩散模型可以很好地处理文本提示。“全身赛博朋克风格的雕塑,是一位年轻英俊的哥伦比亚王子半机器人,胸部开口,暴露出电路和电火花,发光的粉红色眼睛,蓝色花冠,流动的鲑鱼色丝绸,织物,猛禽。“极其详细的广角照片,大气,夜晚,反射,屡获殊荣的当代现代室内设计公寓客厅,舒适而平静,织物和纺织品,几何木雕,色彩缤纷的口音,反光黄铜和铜装饰,阅读角落,许多光源、灯具、涂油硬木地板、按颜色分类的书架、沙发、电视、书桌、植物”原创 2023-09-08 14:24:33 · 360 阅读 · 1 评论 -
【NLP】LangChain 如何构建自定义知识聊天机器人
现在,解释这部分内容将会很广泛,所以这里有一个简单的例子,说明如何在 LangChain 中使用 Python 代理来解决一个简单的数学问题。为了与我们的法学硕士进行交互,我们将实例化 OpenAI 的 GPT 模型的包装器。在本文中,我将向您介绍 LangChain,并向您展示如何将其与 OpenAI 的 API 结合使用来创建这些改变游戏规则的工具。但它真正的亮点在于将其与前面讨论的矢量存储结合使用。剩下要做的就是结合我们所学到的知识来创建我们的特定用例——为我们提供专门的人工智能“代理”。原创 2023-09-04 14:43:34 · 707 阅读 · 0 评论 -
【ML】Dropout:增强鲁棒性和泛化性
过度拟合的产生是由于神经网络固有的复杂性,神经网络具有学习训练数据中复杂关系的能力,包括噪声和异常值。Dropout 的集成学习性质丰富了模型捕获数据中不同模式和关系的能力,最终提高了训练和测试数据的性能。通过在单个网络中引入受控随机性和集成学习,dropout 解决了过度拟合的挑战,并有助于创建更强大和可靠的模型。在这里,我们将探讨在神经网络中使用 dropout 的一些困难,并提供有效解决这些复杂问题的见解。这些挑战提醒我们,在将 dropout 纳入我们的模型时,深思熟虑的实验和适应的重要性。原创 2023-08-22 16:57:59 · 531 阅读 · 1 评论 -
【NLP】生成式人工智能简介
例如,OpenAI 开发的 GPT-3 等语言模型可以在大量文本数据上进行训练,然后用于生成不同语言的新的、连贯的且语法正确的文本(无论是在输入还是输出方面) ,以及从文本中提取相关特征,例如关键字、主题或完整摘要。在这样的技术背后,你可以认识到我们迄今为止在其他领域提到的许多模型——提示的语言理解、图像生成和图像生成的运动,以及人工智能作曲家制作的背景音乐。此功能有几个有趣的业务应用程序,例如生成用于训练计算机视觉模型的合成数据集、生成逼真的产品图像以及为虚拟现实和增强现实应用程序生成逼真的图像。原创 2023-08-17 10:12:58 · 1301 阅读 · 0 评论 -
了解元学习——如何利用更少的数据提高效率
未来拥有令人兴奋的可能性,包括能够适应不断变化的环境并从日益有限的数据中学习的更强大的模型。元学习,或者说学会学习,是一种机器学习方法,专注于改进学习过程,而不仅仅是学习特定的任务或问题。元学习旨在开发算法或技术,使模型能够根据学习多个相关任务的先前经验,以最少的数据和计算快速适应和学习新任务。通过关注学习过程,元学习技术使模型能够从有限的数据中学习并快速适应新任务,展现出卓越的泛化能力。元学习范式中的多种技术包括模型无关元学习 (MAML)、基于度量的元学习和记忆增强神经网络等。有哪些不同的元学习技术?原创 2023-08-17 08:50:13 · 559 阅读 · 1 评论 -
【AI】生成式人工智能用例和应用
随着时间的推移,生成器变得越来越好,可以创建更逼真的图像。初创公司 Jesper.ai 利用人工智能文字处理器将自动化提升到了新的水平,用这种革命性的工具取代了繁琐的写作任务,自动生成营销文案、职位描述等的全文。借助生成式人工智能,协作和生产力可以飙升至新的高度,从而腾出宝贵的时间来进行更具创造性和战略性的努力。除了生成新内容之外,文本生成人工智能工具还可以有效地执行许多其他与语言相关的任务,例如回答问题、完成不完整的文本、将文本分类为不同的类别、改写和改进内容以及就多个主题进行类似人类的讨论。原创 2023-08-10 13:52:53 · 1275 阅读 · 1 评论 -
【ML】结构化数据和非结构化数据的区别以及如何将非结构化数据转换为结构化数据
与以特定格式(例如表或数据库)组织的结构化数据不同,非结构化数据缺乏一致的结构或预定义的模式。然而,经过充分分析,它也可以提供有价值的见解,因为它将非结构化数据的灵活性与某些结构化数据组织结合起来。结构化数据以特定格式组织,例如表格或电子表格,而非结构化数据没有特定的形式或结构。结构化数据和非结构化数据之间的主要区别在于,结构化数据可以使用计算机算法轻松组织和分析。总体而言,结构化数据对于组织来说是宝贵的资源,因为它提供了可靠且一致的信息源,可用于制定数据驱动的决策。原创 2023-08-08 10:50:25 · 4802 阅读 · 0 评论 -
【ML】L1 和 L2 正则化解释、何时使用它们以及实际示例
最常用的正则化技术是 L1 正则化 (Lasso)、L2 正则化 (Ridge) 和弹性网络正则化。在实践中,L1 和 L2 正则化的组合(称为弹性网络正则化)通常用于利用这两种技术的优势,并在稀疏性和权重收缩之间找到平衡。请注意,这是从头开始的 L2 正则化的基本实现。因此,正则化技术和正则化参数的选择必须根据具体问题和数据集仔细选择和调整,以在模型性能的偏差和方差之间取得适当的平衡。值得注意的是,L1 和 L2 正则化之间的选择并不总是明确的,可能需要使用不同的正则化技术对模型的性能进行实验和评估。原创 2023-07-31 10:35:52 · 3779 阅读 · 2 评论 -
【DL】探索扩散模型:关键概念和应用的综合指南
人工智能中扩散模型的迭代过程是其功能的一个基本方面,涉及多次迭代或步骤以生成高质量的输出。为了理解这个过程,让我们更深入地研究扩散模型的工作原理。扩散模型是生成模型,旨在捕获给定数据集的基础分布。他们学习通过迭代地改进输出来生成类似于训练数据的新样本。该过程从初始输入或“噪声”样本开始,该样本通过模型。然后,模型应用概率变换来迭代更新样本,使其更接近所需的输出。在每次迭代期间,扩散模型都会生成潜在变量,充当数据的中间表示。这些潜在变量捕获训练数据中存在的基本特征和模式。原创 2023-07-31 10:26:18 · 540 阅读 · 0 评论 -
【LLM】优化预训练模型:参数高效微调 (PEFT) 指南
参数高效微调(PEFT)是自然语言处理(NLP)中使用的一种技术,用于提高预训练语言模型在特定下游任务上的性能。它涉及重用预训练模型的参数并在较小的数据集上对其进行微调,与从头开始训练整个模型相比,这可以节省计算资源和时间。PEFT 通过冻结预训练模型的某些层并仅微调特定于下游任务的最后几层来实现这种效率。这样,模型就可以以更少的计算开销和更少的标记示例来适应新任务。尽管 PEFT 是一个相对新颖的概念,但自从引入迁移学习以来,更新最后一层模型已经在计算机视觉领域得到实践。原创 2023-07-17 16:59:42 · 5010 阅读 · 1 评论 -
【CV】实时人脸检测 | 使用 OpenCV 进行口罩检测
幸运的是,我们有一个数据集,其中包含带面具和不带面具的图像脸部。此外,由于 faces 变量包含包含脸部的矩形的左上角坐标、高度和宽度,因此我们可以使用它来获取脸部的帧,然后对该帧进行预处理,以便可以将其输入到模型中进行预测。为此,我们将使用第一部分中所示的方法检测具有面部的帧,然后在预处理后将它们传递到我们的模型。虽然这个模型不如我们在这里训练的模型那么有效,但它有一个额外的功能,可以检测未正确佩戴的口罩。因此,当检测静态图像中的人脸和检测实时视频流中的人脸时,它们之间没有太大区别。原创 2023-07-03 13:24:09 · 2484 阅读 · 1 评论 -
【NLP】文本聚类和主题建模
尽管分类等监督技术在过去几年中在业界占据主导地位,但文本聚类等无监督技术的潜力也不容低估。文本聚类旨在根据语义内容、含义和关系对相似文本进行分组,如图所示。就像我们在第 XXX 章的密集检索中使用文本嵌入之间的距离一样,聚类嵌入允许我们根据相似性对存档中的文档进行分组。由此产生的语义相似文档集群不仅有助于对大量非结构化文本进行有效分类,而且还可以进行快速探索性数据分析。随着允许文本的上下文和语义表示的大型语言模型 (LLM) 的出现,文本聚类的功能在过去几年中显着增强。原创 2023-06-25 10:30:10 · 549 阅读 · 0 评论 -
【NLP】每个NLP工程师都应该知道的10 种不同的 NLP 技术
例如,当我们在亚马逊上搜索产品时,假设我们不仅希望看到我们在搜索栏中输入的确切单词的产品,还希望看到我们输入的单词的其他可能形式的产品。在英语中,相似的单词根据其使用的时态及其在句子中的位置而出现不同的情况。关键字提取技术在 NLP 应用程序中非常有用,在这种应用程序中,企业想要根据评论识别客户遇到的问题,或者如果您想要从最近的新闻项目中识别感兴趣的主题。在上面的句子中,我们尝试预测的单词是 sunny,使用输入作为单词“The day is Bright”的 one-hot 编码向量的平均值。原创 2023-06-21 16:52:50 · 4302 阅读 · 1 评论 -
【CV】使用 OpenCV 将照片变成卡通
总之,使用 OpenCV 将图像转换为卡通是一种有趣且富有创意的方式,可以为您的照片赋予新的生命。较小的内核大小和 sigma 值会导致较少的模糊,而较大的值会导致更多的模糊。较小的值会产生较细的线条,而较大的值会产生较粗的线条。同样,较小的值会导致较少的模糊,而较大的值会导致更多的模糊,这会影响铅笔素描的整体外观。较小的值将导致较少的模糊,而较大的值将导致更多的模糊。较小的值会产生较细的线条,而较大的值会产生较粗的线条。会导致较少的颜色,而较大的值会导致较多的颜色,这会影响卡通图像的整体外观。原创 2023-06-26 10:51:52 · 683 阅读 · 1 评论 -
【NLP】使用混合精度技术加速大型语言模型
由于大型语言模型 (LLM) 的计算要求和内存占用量大,因此训练和使用它们的成本很高。本文将探讨如何利用低精度格式将训练和推理速度提高 3 倍,同时不影响模型精度。尽管我们主要关注大型语言模型示例,但这些技术中的大多数都是通用的,也适用于其他深度学习架构。翻译 2023-06-19 08:42:24 · 1724 阅读 · 2 评论 -
【CV】如何使用 YOLOv8 进行推理并使用自定义数据进行再训练
通过使用我们自己的数据训练和微调 YOLO 模型的能力,物体检测任务的可能性是无限的。通过本文提供的实现和资源,我们希望您能够将这些技术应用到您自己的项目中,并利用 YOLO 的功能。在这种情况下,至关重要的是准备一个新的数据集并用该数据集重新训练模型,确保模型能够准确地检测到我们想要检测的对象。YOLOv8 由 Alexey Bochkovskiy 和他在 Ultralytics 的团队开发,代表了一种尖端的对象检测算法,其性能优于 YOLO(You Only Look Once)系列中的前辈。原创 2023-06-16 09:08:07 · 6012 阅读 · 2 评论 -
【CV】从 YOLO 到 YOLOv8:追踪目标检测算法的演变
传统的物体检测器通常是离线训练的,因此研究人员旨在开发改进的训练方法,以在不增加推理成本的情况下提高物体检测器的准确性。它用于进一步提高模型的准确性,而不会产生大量的计算成本。YOLOv5 的发布进一步加剧了 YOLOv4 的争议,YOLOv5 是 Ultralytics 团队开发的非官方版本,同样与 Joseph Redmon 或他的团队无关。然而,如果你开始问我 YOLO 的细节——为什么我要为那个项目使用这个版本,最新的改进是什么,YOLO 的世界发生了什么——我可能会告诉你是时候喝杯咖啡休息了。原创 2023-06-14 17:21:01 · 675 阅读 · 0 评论 -
【CV】扩散模型(Diffusion Models)
2020 年底,一类鲜为人知的称为扩散模型的模型开始在机器学习领域引起轰动。研究人员弄清楚了如何使用这些模型生成质量高于以往技术的合成图像。随后出现了一系列论文,提出了改进和修改的建议,进一步提高了质量。到 2021 年底,像 GLIDE 这样的模型在文本到图像的任务上展示了令人难以置信的结果,几个月后,这些模型通过 DALL-E 2 和 Stable Diffusion 等工具进入了主流。这些模型使任何人都可以轻松地生成图像,只需输入他们想要看到的内容的文本描述即可。原创 2023-05-24 11:51:59 · 410 阅读 · 0 评论 -
【AI &Data Science】第 1 章分析性思维与 人工智能驱动的企业
如果我必须根据他们对“人工智能”一词的理解来划分世界上的人,我会说有四种类型的人。一方面是那些从未听说过这个词的人。由于人工智能已经成为流行的民间传说的一部分,并且现在是电影、电视节目、书籍、杂志、脱口秀等的共同主题,我猜这个群体相当小。大多数人属于第二类人,他们认为人工智能更接近从业者所说的 通用人工智能(AGI)或类人智能。在他们看来,人工智能是类人机器,能够像人类一样完成相同的任务并做出决策。原创 2022-10-25 08:39:35 · 612 阅读 · 10 评论 -
【Seq2Seq】Attention is All You Need
与卷积序列到序列模型类似,转换器不使用任何递归。它也不使用任何卷积层。相反,该模型完全由线性层,注意机制和归一化组成。截至2020年1月,Transformer是NLP中的主要架构,用于为许多任务实现最先进的结果,并且似乎在不久的将来会出现。最受欢迎的Transformer变体是BERT(BEncoderRTransformers)和预训练版本的BERT通常用于替换NLP模型中的嵌入层 - 如果不是更多的话。处理预训练Transformer时使用的常用库是库,请参阅here。原创 2022-10-03 11:59:26 · 993 阅读 · 11 评论 -
【Seq2Seq】卷积序列到序列学习
此模型与这些教程中使用的先前模型截然不同。根本没有使用经常性成分。相反,它使用卷积层,通常用于图像处理。有关用于情绪分析的文本卷积层的简介,请参阅此教程。简而言之,卷积层使用滤波器。这些滤镜具有宽度(在图像中也有高度,但通常没有文本)。如果筛选器的宽度为 3,则它可以看到 3 个连续的标记。每个卷积层都有许多这样的过滤器(本教程中有 1024 个)。每个过滤器将在整个序列中滑动,从开始到结束,一次查看所有3个连续令牌。这个想法是,这1024个过滤器中的每一个都将学习从文本中提取不同的特征。原创 2022-10-02 11:51:17 · 2735 阅读 · 10 评论 -
【Seq2Seq】压缩填充序列、掩蔽、推理和 BLEU
在本笔记本中,我们将对上一个笔记本中的模型添加一些改进 - 填充序列和遮罩。打包的填充序列用于告诉我们的 RNN 跳过编码器中的填充令牌。掩码会显式强制模型忽略某些值,例如对填充元素的注意力。这两种技术都常用于 NLP。我们还将研究如何使用我们的模型进行推理,通过给它一个句子,看看它翻译它是什么,看看它在翻译每个单词时究竟在哪里注意。最后,我们将使用BLEU指标来衡量翻译质量。原创 2022-10-02 11:54:34 · 2921 阅读 · 12 评论 -
【Pytorch深度学习实战】(8)双向循环神经网络(BiRNN)
双向循环神经网络是由 []提出的, 关于各种架构的详细讨论请参阅 []。让我们看看这样一个网络的细节。对于任意时间步t,给定一个小批量的输入数据 Xt∈Rn×d (样本数:n,每个示例中的输入数:d), 并且令隐藏层激活函数为ϕ。在双向架构中,我们设该时间步的前向和反向隐状态分别为 H→t∈Rn×h和 H←t∈Rn×h, 其中h是隐藏单元的数目。前向和反向隐状态的更新如下:接下来,将前向隐状态H→t 和反向隐状态H←t连接起来, 获得需要送入输出层的隐状态Ht∈Rn×2h。原创 2022-09-19 09:32:08 · 16195 阅读 · 2 评论 -
【Pytorch with fastai】第 2 章:从模型到生产
我们在第 1 章中看到的六行代码只是在实践中使用深度学习过程的一小部分。在本章中,我们将使用一个计算机视觉示例来了解创建深度学习应用程序的端到端过程。 更具体地说,我们将构建一个熊分类器!在此过程中,我们将讨论深度学习的能力和限制,探索如何创建数据集,查看在实践中使用深度学习时可能遇到的问题,等等。许多关键点同样适用于其他深度学习问题,例如第 1 章中的问题。如果您解决了与我们的示例问题在关键方面相似的问题,我们希望您能够以很少的代码快速获得出色的结果。让我们从你应该如何构建你的问题开始。我们已经看到,深度原创 2022-09-30 20:18:47 · 3482 阅读 · 9 评论 -
【Pytorch with fastai】第 1 章:你的深度学习之旅
您好,感谢您让我们加入您的深度学习之旅,无论您走多远!在本章中,我们将告诉你更多关于本书的内容,介绍深度学习背后的关键概念,并在不同的任务上训练我们的第一个模型。如果你不是来自技术或数学背景也没关系(虽然你也可以!);我们写这本书是为了让尽可能多的人能够接触到深度学习。很多人认为你需要各种难以找到的东西才能通过深度学习获得好的结果,但正如你将在本书中看到的那样,这些人是错误的。 表 1-1列出了世界级深度学习绝对不需要的一些东西。很多数学高中数学就够了。大量数据我们已经看到了少于 50 项数据的破纪录结果。原创 2022-09-30 20:02:40 · 3381 阅读 · 6 评论 -
【DL】第 12 章: 生成式深度学习
12 生成式深度学习本章涵盖文本生成DeepDream神经风格迁移变分自编码器生成对抗网络人工智能模拟人类思维过程的潜力超越了物体识别等被动任务和驾驶汽车等大多数反应性任务。它很好地扩展到创意活动。当我第一次声称在不远的将来,我们消费的大部分文化内容将在人工智能的大力帮助下创造出来时,我完全不相信,即使是长期的机器学习从业者。那是在 2014 年。快进了几年,这种怀疑以令人难以置信的速度消退了。原创 2022-09-30 11:43:08 · 3760 阅读 · 6 评论 -
强化学习和 Q-Learning
在你的上方是一枚硬币。这种策略可能仍然会导致代理返回到它已经探索过的位置,但是,正如您从下面的代码中看到的那样,它会导致到所需位置的平均路径非常短(请记住,一开始,当 Q-Table 值都相同时,它对应于随机选择,但随着我们对环境的了解更多,我们更有可能遵循最优路径,同时允许智能体选择未探索的路径偶尔。请注意,我们将 Q-Table 的所有值初始化为相等的值,在我们的示例中为 0.25。现在我们需要运行模拟,探索我们的环境,并学习更好的 Q-Table 值分布,这将使我们能够更快地找到通往苹果的路径。原创 2022-09-20 08:54:14 · 13987 阅读 · 7 评论 -
异构计算, GPU和框架选型指南
异构计算是基于一个更加朴素的概念,”异构现象“,也就是不同计算平台之间,由于硬件结构(包括计算核心和内存),指令集和底层软件实现等方面的不同而有着不同的特性。异构计算就是使用结合了两个或者多个不同的计算平台,并进行协同运算。比如,比较常见的,在深度学习和机器学习中已经比较成熟的架构:CPU和GPU的异构计算;此外还有比较新的Google推出的协处理器(TPU),根据目的而定制的ASIC,可编程的FPGA等也都是现在在异构计算中使用比较多的协处理器。原创 2022-09-18 09:17:37 · 16427 阅读 · 6 评论 -
AI拟声: 5秒内克隆您的声音并生成任意语音内容
特征🌍支持普通话并测试了多个数据集:aidatatang_200zh、magicdata、aishell3、data_aishell等。🤩为 pytorch 工作,在 1.9.0 版本中测试(最新于 2021 年 8 月),GPU Tesla T4 和 GTX 2060🌍在 Windows 操作系统和 linux 操作系统中运行(甚至在 M1 MACOS 中)🤩 通过重用预训练的编码器/声码器,只需新训练的合成器即可获得🌍通过远程调用为您提供结果。翻译 2022-09-18 09:16:47 · 25023 阅读 · 5 评论