- 博客(91083)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 AI人工智能大模型中——数据集就是一切 The dataset is everything
我认为对计算乘数的搜索比任何不严格遵守缩放定律的人想象的要普遍得多：实际上，机器学习领域的每一位不研究现有技术的新应用的科学家都应该执行计算效率扫描以确保他们的发现确实相关。不过，随着训练的进行，这些机制会“上线”：当您需要提高学习更复杂的数据分布层的能力时，它们就会提供有意义的价值。更重要的是，认识到像 GPT-4 或 DALL-E 3 这样的巨大模型仍然存在根本性缺陷，这表明试图从 Llama 2 或 Stable Diffusion 等相对较小的模型中获得真正智能的行为是没有希望的。
2024-04-25 03:17:14
28
原创 【AI大模型应用开发实战】大型语言模型评估指南白皮书（LLM Eval）
近年来，大型语言模型（LLM）在自然语言处理领域取得了重大进展，例如 GPT-3 和 Chat-GPT。这些模型经过大型数据集的训练，在文本相关任务中表现出卓越的能力，甚至超越了人类。本文将简要介绍如何验证 LLMs 性能的评估指标。自然语言处理（NLP）是人工智能的一个领域，涉及计算机和人类语言之间的交互。NLP 的基本任务之一是语言建模 (LM)，它涉及构建统计模型来分析和生成自然语言。LM 已成为推进机器语言智能的关键方法，使机器能够执行机器翻译、情感分析和对话系统等任务。
2024-04-24 23:14:44
139
3
原创 Transformer模型的预训练与微调技术
介绍了自然语言处理技术的发展历程，特别是Transformer模型的崛起，并详细介绍了Transformer模型的核心概念、算法原理和应用场景。自然语言处理技术是人工智能领域的重要研究方向，其目标是使计算机能够理解和处理人类语言。近年来，随着深度学习技术的兴起，NLP领域取得了显著的进展。Transformer模型是一种基于自注意力机制的深度学习模型，它采用编码器-解码器架构，并通过多头注意力机制来捕捉输入序列中不同位置之间的依赖关系。
2024-04-24 12:03:24
483
8
原创 强化学习在自动驾驶中的应用
随着科技的发展，自动驾驶已成为汽车行业的热门话题。它旨在通过智能系统实现车辆的自主导航，减少人为错误造成的交通事故，并提高交通效率。强化学习作为机器学习的一种，凭借其模仿人类学习方式，即通过反复试错和奖励机制优化行为的能力，正逐步成为推动自动驾驶技术的重要驱动力。未来，强化学习将在自动驾驶领域发挥更大作用，实现更高级别的自动化。然而，挑战依然存在，如数据隐私保护、安全性验证、法律法规的适应性以及应对未知环境的能力。随着技术的进步，这些挑战有望得到解决，从而推动自动驾驶技术迈向更高的成熟度。
2024-04-11 14:35:48
1050
1
原创 基于transformer的端到端语音识别模型解析
语音识别作为人机交互的重要技术之一,在近年来得到了飞速的发展。传统的语音识别系统通常由声学模型、语言模型和解码器三个主要部分组成,需要进行复杂的管道式处理。随着深度学习技术的不断发展,出现了基于端到端(end-to-end)的语音识别模型,能够直接从原始语音信号中输出文本序列,大大简化了系统结构。其中,基于Transformer的端到端语音识别模型在近年来取得了突破性的进展,在多个公开数据集上取得了领先的识别性能。
2024-04-08 11:59:05
518
原创 RAG 提示词工程最佳实践
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 Zen 禅与计算机程序设计艺术 特别推出 RAG 任务下的提示词实践经验系列分享。RAG 是检索增强生成（Retrieval Augmented Generation）的简称，是当前最火热的企业级LLM应用方案。
2024-04-06 11:17:08
103
2
原创 Ilya Sutskever: 元学习和自我对弈 OpenAI Meta-Learning & Self-Play | MIT Artificial General Intelligence AGI
欢迎来到 通用人工智能，今天我们有伊利亚 sutskever 联合创始人和研究开放人工智能总监，他在多伦多的 amel 小组开始工作，杰弗里·辛顿 (Geoffrey Hinton) 随后与安嘉莹一起在斯坦福大学工作，作为 Google Brain 的研究科学家，共同创立了 DNN 研究三年，并最终共同创立了开放 AI。
2024-04-02 00:01:29
63
2
原创 神经网络基础：从生物神经元到人工神经元
人工智能领域中,神经网络作为一种重要的机器学习模型,已经广泛应用于计算机视觉、自然语言处理、语音识别等众多领域,取得了令人瞩目的成就。神经网络的核心思想源于人类大脑中神经元之间的信息传递与处理机制。通过模拟生物神经元的结构和功能,人工神经网络得以实现对复杂问题的高效学习和处理。本文将从生物神经元的基本构造和工作原理出发,系统地介绍人工神经元的核心概念,并深入探讨神经网络的基本算法原理、最佳实践、应用场景以及未来发展趋势。希望能够帮助读者全面理解神经网络技术的来龙去脉,为进一步学习和应用打下坚实的基础。
2024-04-01 00:55:11
793
原创 词嵌入：基础知识教程 Word Embedding: Basics
GloVe 基于强大的直觉，即单词的真正含义源自两个单词相邻出现的预期概率的差异。上表显示，在我们的语料库中，“a”后面跟着“penny”两次，而单词“earned”、“saved”和“wise”各跟随“penny”一次。在一个美妙的数学推导中，新矩阵的单元格是原始矩阵的行和列之间的点积的结果。这些方法是基于预测的，因为它们提供了单词的概率，并被证明是单词类比和单词相似度等任务的最先进技术。Google 科学家发表的一篇论文 Word2Vec 的前提是，如果经过训练来预测单词的出现，单词嵌入会更加准确。
2024-03-27 13:13:49
63
原创 霍普菲尔德神经网络和大脑神经网络系统 Hopfield nets and the brain
目录Why are Hopfield nets so interesting and intriguing?为什么霍普菲尔德网如此有趣且令人着迷？What is a hopfield net and how do they work?什么是霍普菲尔德网以及它们如何工作？How do they learn? 他们如何学习？How feedforward works in hopfield nets?hopfield 网络中前馈如何工作？The “energy” function of a Hopfield n
2024-03-21 00:55:36
718
1
原创 循环神经网络背后的直觉 The intuition behind recurrent neural networks
目录Why a new post about RNN?为什么要写一篇关于 RNN 的新文章？Before you start 在你开始之前Neural networks and deep learning神经网络和深度学习Neural Networks and Deep Learning is a free online book. The book will teach you about: Neural networks, a beautiful…神经网络和深度学习是一本免费的在线书籍。这本书将教您：神
2024-03-21 00:46:27
733
原创 【AI大模型应用开发实战】逐步推导反向传播计算原理 Backpropagation step by step
不过，输出层的大小将为 10，因为我们有从 0 到 9 的 10 个可能的标签。当训练网络时，我们输入一个数字为零的图像，我们希望第一个神经元值接近于尽可能接近 1，其余尽可能接近 0。在我们的玩具网络中，我们只有一组权重。由于权重均为正，并且输入本身为正，因此神经元的结果也为正，在这种情况下，RELU 是恒等函数。简而言之，反向传播计算梯度下降以最小化成本函数，但由于神经网络中层的排列方式使它们成为复合函数，反向传播只不过是计算链式法则后的链式法则以获得导数的值成本函数相对于网络各层深处的权重。
2024-03-21 00:19:34
1129
原创 【AI大模型应用开发实战】神经网络核心算法原理与学习过程
随着计算机技术的飞速发展，人工智能逐渐成为了当今科技领域的热门话题。人工智能旨在让计算机能够模拟人类的思维方式，从而实现智能化的决策和行为。在这个过程中，神经网络作为一种模拟人脑神经元连接的计算模型，成为了实现人工智能的关键技术之一。yfw⋅xbyfw⋅xbE12∑i1nyi−ti2E21∑i1nyi−ti2反向传播：δiLyi−tif′ziLδiLyi−ti。
2024-03-19 18:01:05
997
6
原创 【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
2024-03-11 12:59:38
862
原创 【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
2024-03-09 11:39:09
387
1
原创 第二章：AI大模型的基础知识2.1 机器学习与深度学习基础2.1.3 神经网络的基本结构
自从人工智能（AI）成为可能的研究领域以来，研究人员一直在尝试模拟生物神经网络中的行为，从而产生可编程的计算机系统。人类大脑中的神经元被认为是执行计算的基本单位，这些单位以非常高效的方式组合在一起，形成复杂的网络来处理信息。自然界中的生物神经网络已经存在数百万年，并且已经演变成了一种非常强大和高效的信息处理系统。因此，模仿生物神经网络并将其应用到计算机系统中可能是一个重大飞跃。人工神经网络（ANN）是一种由简单的处理单元（neurons）组成的网络，它们是通过可训练的连接相互连接的。
2024-02-01 15:00:57
137
原创 AI大模型应用入门实战与进阶：构建你的第一个大模型：实战指南
AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通常需要大量的计算资源和数据来进行训练，以实现高性能的预测和生成能力。近年来，随着计算能力的提高和数据量的增加，AI大模型在各种任务中取得了显著的成果，如自然语言处理、计算机视觉和强化学习等。模型压缩与加速：随着模型规模的增加，计算资源和存储需求也在不断增加。未来的研究需要关注如何压缩和加速大模型，以适应更多的应用场景。数据效率与迁移学习：当前的大模型通常需要大量的数据和计算资源进行训练。
2024-01-28 03:18:50
1044
1
原创 【ChatGPT核心原理实战】《提示工程指南》 | Prompt Engineering Guide
提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。本指南介绍了提示词相关的基础知识，帮助用户了解如何通过提示词和大语言模型进行交互并提供指导建议。
2024-01-05 01:17:04
1030
1
原创 【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
2023-12-22 02:23:09
2600
6
原创 Word2Vec词嵌入：CBOW和SkipGram算法
1. 背景介绍1.1 自然语言处理与词表示自然语言处理（NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解和处理人类语言。词表示是NLP中的一个基础任务，它将词汇映射到向量空间，使得语义相似的词在向量空间中距离更近。传统的词表示方法，如one-hot编码，存在维度灾难和语义鸿沟等问题
2024-04-27 17:01:00
492
原创 ViT:Transformer在计算机视觉的惊艳表现
ViT: Transformer在计算机视觉的惊艳表现1. 背景介绍1.1 计算机视觉的重要性计算机视觉是人工智能领域的一个重要分支,旨在使机器能够像人类一样理解和分析数字图像或视频。随着数据量的激增和计算能力
2024-04-27 17:00:29
482
原创 VAE与强化学习：探索决策与生成
1. 背景介绍1.1 人工智能的两大领域：决策与生成人工智能（AI）一直致力于模拟和扩展人类智能的边界。在众多AI研究方向中，决策和生成占据着重要的地位，它们分别对应着人类认知的两个关键方面：如何做出选择以及如何创造新事物。强化学习作为决策问题的核心方法，通过与环境交互学习最优策略
2024-04-27 16:59:58
232
原创 VAE的产业应用案例：了解实际应用价值
1. 背景介绍近年来，随着深度学习的快速发展，生成模型成为了人工智能领域的研究热点之一。其中，变分自编码器（Variational Autoencoder，VAE）作为一种重要的生成模型，因其强大的生成能力和可解释性，在各个领域都得到了广泛的应用。本文将深入探讨VAE的产业应用案例，帮助读者了解其在实际场景中的应用价值。
2024-04-27 16:59:26
375
原创 Transformer在NLP中的应用:机器翻译新纪元
很抱歉,由于Transformer技术的复杂性和广泛应用,单篇文章难以全面覆盖所有内容。不过我会尽力按要求撰写一篇高质量的技术博文,重点介绍Transformer在机器翻译领域的应用。1.背景介绍1.1 机器翻译的发展历程机器翻译是自然语言处理(NLP)领域的一个重要分支,旨在使
2024-04-27 16:58:55
265
原创 Transformer在问答系统领域的应用案例
1. 背景介绍随着互联网的快速发展，信息爆炸式增长，人们获取信息的需求也越来越高。传统的搜索引擎已经无法满足用户对精准、高效信息获取的需求。问答系统应运而生，它能够理解用户的问题，并给出准确、简洁的答案。近年来，深度学习技术的快速发展，为问答系统带来了新的突破，其中Transformer模型的出现更是为问答系统领域带来了革命性的变化。
2024-04-27 16:58:24
330
原创 Transformer在强化学习中的应用
1. 背景介绍近年来，深度强化学习 (DRL) 在诸多领域取得了显著的成果，例如游戏、机器人控制和自然语言处理。然而，传统的 DRL 方法往往依赖于递归神经网络 (RNN) 来处理序列数据，而 RNN 存在梯度消失和难以并行化等问题。Transformer 的出现为 DRL 带来了新的可能性，其强大的序列建模能力和并行计算优势使其成为 DRL 领域
2024-04-27 16:57:52
403
原创 Transformer在科研领域的应用前景
1. 背景介绍1.1. 人工智能的兴起与自然语言处理的挑战近年来，随着计算能力的提升和海量数据的积累，人工智能（AI）技术取得了突飞猛进的发展。其中，自然语言处理（NLP）作为人工智能的重要分支，旨在让机器理解和生成人类语言，在信息检索、机器翻译、智能客服等领域有着广泛的应用。
2024-04-27 16:57:21
247
原创 Transformer与Web0：去中心化的未来
1. 背景介绍1.1 Web发展历程与中心化问题互联网自诞生以来，经历了 Web 1.0、Web 2.0 时代，正逐步迈向 Web 3.0 时代。Web 1.0 是以静态网页为主的单向信息发布平台，Web 2.0 则发展为用户生成内容的互动平台，例如社交媒体、博客等。然而，Web 2.
2024-04-27 16:56:50
520
原创 Transformer与元宇宙：构建虚拟世界
1. 背景介绍1.1 元宇宙的兴起元宇宙，这个近来火爆的概念，描绘了一个超越现实的虚拟世界，一个与现实世界平行且相互影响的数字空间。在这个空间里，人们可以拥有虚拟身份，进行社交、娱乐、工作等各种活动。元宇宙的兴起，离不开技术的进步，特别是人工智能和虚拟现实技术的飞速发展。
2024-04-27 16:56:18
452
原创 Transformer与小样本学习
1. 背景介绍1.1 小样本学习的兴起近年来，随着深度学习的迅猛发展，模型对数据的需求量也越来越大。然而，在许多实际应用场景中，获取大量标注数据往往成本高昂且耗时。小样本学习（Few-Shot Learning）应运而生，它旨在利用少量样本进行模型训练，并使其能够快速适应新的任务和领域。
2024-04-27 16:55:47
370
原创 Transformer与其他技术的结合
1. 背景介绍1.1 Transformer 崛起之路Transformer 架构自 2017 年由 Vaswani 等人提出以来，在自然语言处理 (NLP) 领域取得了突破性的进展。其核心机制——自注意力机制，能够有效地捕捉序列数据中的长距离依赖关系，从而在机器翻译、文本摘要、
2024-04-27 16:55:16
520
原创 Transformer应用案例库
1. 背景介绍1.1. 自然语言处理的挑战自然语言处理（NLP）一直是人工智能领域最具挑战性的任务之一。语言的复杂性和多样性，以及语义理解和上下文推理的困难，使得构建高效的NLP模型成为一项艰巨的任务。传统的NLP方法，如基于规则的方法和统计方法，在处理复杂语言现象时往往显得力不从心。
2024-04-27 16:54:44
184
原创 Transformer模型：NLP新时代的驱动力
1. 背景介绍1.1 NLP领域的传统方法及其局限性自然语言处理（NLP）一直是人工智能领域的重要研究方向，旨在让机器理解和处理人类语言。在 Transformer 模型出现之前，NLP 领域主要依赖于循环神经网络（RNN）和卷积神经网络（CNN）等模型。RNN 在处理序列数据方面
2024-04-27 16:54:13
248
原创 Transformer量化：模型压缩的艺术
1. 背景介绍1.1 深度学习模型的膨胀与挑战近年来，深度学习模型在各个领域取得了突破性的进展，尤其是在自然语言处理 (NLP) 领域，Transformer 架构成为了主流。然而，随着模型规模的不断扩大，其参数量和计算量也急剧增长，导致了以下挑战：
2024-04-27 16:53:42
236
原创 Transformer开发者社区
1. 背景介绍1.1. 深度学习的兴起与自然语言处理的挑战深度学习技术的迅猛发展，为自然语言处理（NLP）领域带来了革命性的突破。然而，NLP任务的复杂性，如文本的序列性、长距离依赖关系等，仍然是巨大的挑战。传统的循环神经网络（RNN）模型在处理长序列数据时，容易出现梯度消失或
2024-04-27 16:53:10
549
原创 Transformer:从Word嵌入到通用序列到序列模型
1. 背景介绍1.1 自然语言处理的挑战自然语言处理 (NLP) 一直是人工智能领域的重要研究方向，其目标是让计算机能够理解和生成人类语言。然而，自然语言的复杂性和多样性给 NLP 任务带来了诸多挑战，例如：语义模糊性: 同一个词语
2024-04-27 16:52:39
367
原创 TensorFlow&PyTorch：深度学习框架
1. 背景介绍1.1 人工智能与深度学习的兴起近年来，人工智能（AI）技术的迅猛发展引起了广泛关注。深度学习作为人工智能领域的核心技术之一，在图像识别、自然语言处理、语音识别等领域取得了突破性进展。深度学习模型的训练和部署离不开高效的深度学习框架，而TensorFlow和PyTorch正
2024-04-27 16:52:08
350
原创 SupervisedFineTuning：助力智能搜索引擎
1. 背景介绍随着互联网信息爆炸式增长，搜索引擎已经成为人们获取信息的重要途径。然而，传统的搜索引擎往往只能根据关键词匹配进行检索，无法理解用户的真实意图，导致搜索结果不精准、不全面。为了解决这个问题，智能搜索引擎应运而生。智能搜索引擎利用人工智能技术，能够理解用户的搜索意图，并根据用户的兴趣和需求提供个性化的搜索结果。其中，Sup
2024-04-27 16:51:36
311
原创 RoBERTa：更强大的预训练模型
1. 背景介绍1.1 预训练模型的兴起近年来，自然语言处理(NLP)领域取得了显著的进展，其中预训练模型的出现功不可没。预训练模型通过在大规模语料库上进行训练，学习通用的语言表示，并在下游任务中进行微调，取得了优异的性能。BERT作为预训练模型的代表作之一，在各种NLP任务中刷新了记录。然而，研
2024-04-27 16:51:05
278
原创 RNNs中的时间步长：捕捉时间依赖关系
1. 背景介绍1.1 时间序列数据与传统神经网络的局限性时间序列数据广泛存在于各个领域，例如金融市场的价格波动、自然语言处理中的句子序列、语音识别中的音频信号等。这些数据的一个显著特点是，数据点之间存在着时间依赖关系，即当前数据点的值不仅取决于其自身特征，还与过去一段时间内的历
2024-04-27 16:50:34
500
ClickHouse 高性能、可扩展和低成本的OLAP数据库 陈光剑 20230912
2023-09-14
Will AI Fix Work? 工作节奏超过了我们的跟上能力 人工智能有望创造一种全新的工作方式
2023-05-17
THE AI INDEX REPORT 人工智能指数报告 Measuring trends in Artificial Inte
2023-04-06
Kotlin Coroutines by Tutorials (1st Edition)
2021-04-28
Principles of programming languages by Gilles Dowek (auth.) (z-lib.org).pdf
2021-04-28
A Brief History of Artificial Intelligence
2021-04-28
An introduction to functional programming through lambda calculus.PDF.zip
2019-09-22
《Kotlin项目实战开发》第3章+类型系统与可空类型
2017-09-30
2024 年可以实现 AGI 吗？
2024-01-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人