- 博客(59004)
- 资源 (6)
- 收藏
- 关注
原创 Open AI CEO:Sam Altman 创业手册——您所需要的只是一个伟大的想法、一个伟大的团队、一个伟大的产品和伟大的执行力!
目录PART I 第一部分THE IDEA 想法PART II 第二部分A GREAT TEAM 一个伟大的团队PART III 第三部分A GREAT PRODUCT 很棒的产品PART IV 第四部分GREAT EXECUTION 出色的执行力PART IV: EXECUTION 第四部分:执行GROWTH 生长 PART IV: EXECUTION 第四部分:执行FOCUS & INTENSITY 焦点和强度PART IV: EXECUTION 第四部分:执行JOBS of the CEO 首席执行官
2024-03-16 16:54:47 600 3
原创 【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
LoRA 是一种有效的大模型微调技术,可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果,包括文本分类、机器翻译和问答。
2024-03-11 12:59:38 688
原创 【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning (微调)训练图文代码实战详解
选择预训练模型:选择一个在类似任务上已经训练好的模型作为起点。数据准备:准备并预处理你的数据集,使其适合模型的输入格式。微调:在你的特定数据集上继续训练模型,调整模型的权重。评估:评估微调后模型的性能。应用:将微调后的模型部署到实际应用中。Fine-Tuning(精调)是指在预训练模型的基础上,对模型进行微调,使其适应特定任务。预训练模型通常在大量无标签数据上进行训练,以学习通用的语言表示。通过 Fine-Tuning,我们可以在较小的标签数据集上训练模型,以便模型能够更好地解决特定任务。
2024-03-09 11:39:09 235 1
原创 电商运营中的AI大语言模型:智能搜索与信息检索——如何帮助消费者在海量商品中快速找到自己需要的商品?
随着互联网技术的飞速发展,电子商务已经成为全球范围内的主要商业模式之一。电商平台不仅为消费者提供了便捷的购物体验,还为企业提供了一个展示和销售产品的重要渠道。然而,随着电商平台上商品数量的不断增加,如何帮助消费者在海量商品中快速找到自己需要的商品,成为了电商平台亟待解决的问题。数据安全与隐私保护:AI大语言模型需要大量的文本数据进行训练,如何在保护用户隐私的前提下收集和使用数据是一个重要问题。模型训练成本:AI大语言模型的训练需要大量的计算资源,如何降低训练成本是一个关键问题。
2024-02-27 03:16:23 661 1
原创 第2章 大模型的基础知识2.2 大模型的关键技术2.2.2 预训练与微调
预训练与微调是大模型训练中的两个重要阶段。在预训练阶段,我们利用海量未标注数据 trains 大规模深度学习模型,以学习通用的特征表示 ability;在微调阶段,我们利用小规模带标注数据 fine-tunes 预训练模型,以适应特定任务需求。预训练与微调技术在大规模深度学习模型中扮演着至关重要的角色。未来,我们将继续 witness 其在自然语言处理、计算机视觉等领域的广泛应用。数据 scarcity: 如何有效利用少量带标注数据 fine-tunes 预训练模型?
2024-02-03 02:54:23 489 4
原创 第七章:AI大模型的部署与优化7.2 模型压缩与加速7.2.2 模型量化
随着深度学习技术的发展和大规模数据集的应用,AI 模型的规模不断扩大,模型的训练和部署成本也随之增加。模型压缩技术应运而生,其中一种著名且高效的技术是模型量化。模型量化通过将权重和激活函数的精度降低来减小模型的存储空间和计算复杂度,从而提高模型的推理速度。模型量化是指将浮点数模型转换为低精度整数模型,从而减少模型的存储空间和计算复杂度。模型量化通常包括两个阶段:离线量化和运行时量化。在离线量化阶段,我们会将浮点数模型转换为低精度整数模型,并在训练集上进行微调以恢复精度。
2024-02-01 15:02:00 164
原创 第二章:AI大模型的基础知识2.1 机器学习与深度学习基础2.1.3 神经网络的基本结构
自从人工智能(AI)成为可能的研究领域以来,研究人员一直在尝试模拟生物神经网络中的行为,从而产生可编程的计算机系统。人类大脑中的神经元被认为是执行计算的基本单位,这些单位以非常高效的方式组合在一起,形成复杂的网络来处理信息。自然界中的生物神经网络已经存在数百万年,并且已经演变成了一种非常强大和高效的信息处理系统。因此,模仿生物神经网络并将其应用到计算机系统中可能是一个重大飞跃。人工神经网络(ANN)是一种由简单的处理单元(neurons)组成的网络,它们是通过可训练的连接相互连接的。
2024-02-01 15:00:57 82
原创 AI大模型应用入门实战与进阶:构建你的第一个大模型:实战指南
AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通常需要大量的计算资源和数据来进行训练,以实现高性能的预测和生成能力。近年来,随着计算能力的提高和数据量的增加,AI大模型在各种任务中取得了显著的成果,如自然语言处理、计算机视觉和强化学习等。模型压缩与加速:随着模型规模的增加,计算资源和存储需求也在不断增加。未来的研究需要关注如何压缩和加速大模型,以适应更多的应用场景。数据效率与迁移学习:当前的大模型通常需要大量的数据和计算资源进行训练。
2024-01-28 03:18:50 957 1
原创 写给开发者的软件架构实战:理解并发编程与多线程
随着计算机硬件的发展,多核处理器已经成为主流。为了充分利用多核处理器的性能,开发者需要编写能够同时运行在多个处理器核心上的程序。这就引入了并发编程的概念。并发编程是一种编程范式,它允许程序的多个部分同时执行,从而提高程序的执行效率。并发编程和多线程在未来仍然具有广泛的应用前景。随着硬件技术的发展,多核处理器将继续增加核心数量,这将为并发编程带来更多的性能提升空间。编程模型的复杂性:并发编程需要处理诸如同步、互斥和死锁等复杂问题,这给开发者带来了更高的编程难度。
2024-01-28 03:17:16 677
原创 【ChatGPT核心原理实战】《提示工程指南》 | Prompt Engineering Guide
提示工程是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力,如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术,实现和大语言模型或其他生态工具的高效接轨。本指南介绍了提示词相关的基础知识,帮助用户了解如何通过提示词和大语言模型进行交互并提供指导建议。
2024-01-05 01:17:04 967 1
原创 【ChatGPT核心原理实战】手动求解 Transformer:分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
手动求解 Transformer:分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer:分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕,并且
2023-12-22 02:23:09 2151
原创 【AI大模型应用实战】AI大模型应用架构(ALLMA)白皮书
随着大模型浪潮的兴起,生产力将发生质的变化,从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低,基于大模型构建应用将成为主流趋势。然而,应用层能否与大模型高效交互,将成为产品方案探索效率和效果的关键因素。因此,在模型之上的工程架构中,必须构建一套完整的大模型交互管道(Interface),将应用层(Application) 和模型层(Model)进行串联,为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持,以实现产品方案探索的降本增效 ....
2023-06-30 03:08:09 8488 35
原创 【AI大模型实战】深度学习模型的性能优化与部署
深度学习(Deep Learning)是一种基于人工神经网络的 machine learning 方法,它通过训练多层的感知器(Perceptron)来学习从输入到输出的映射关系。深度学习已被广泛应用在许多领域,如计算机视觉、自然语言处理和语音识别等。随着人工智能技术的不断发展,深度学习模型的部署也变得越来越重要。未来的发展趋势包括模型压缩、边缘计算和联邦学习等。同时,深度学习模型的部署也带来了许多挑战,如安全性、隐私性和可解释性等。因此,我们需要不断开发和改进模型部署技术,以适应人工智能的快速发展。
2024-03-19 01:33:41 161
原创 计算机视觉:让机器看见世界
计算机视觉 (Computer Vision) 是指利用计算机系统来处理、分析和理解数字图像或视频流的过程。它涉及从数字图像中提取信息、建立图像模型、分析图像特征以及基于此信息做出决策等技术。随着计算机视觉技术的发展,它将在未来继续被广泛应用于各个领域。尤其是在深度学习技术的推进下,计算机视觉模型的精度不断提高,应用场景也不断扩大。同时,计算机视觉技术也将与其他技术相结合,如增强现实(AR)和虚拟现实(VR)技术,形成新的应用场景。计算机视觉是指利用计算机系统来处理、分析和理解数字图像或视频流的过程。
2024-03-19 01:11:00 478
原创 AGI的关键技术:神经网络知识图谱
人工智能(AI)的发展已经经历了几个阶段,从早期的基于规则的系统,到现在的深度学习和神经网络。然而,我们的目标是实现人工通用智能(AGI),也就是一种可以理解、学习和应用任何知识的智能。神经网络知识图谱是一种新的技术,它结合了神经网络的学习能力和知识图谱的结构化知识,有很大的发展潜力。然而,它也面临一些挑战,例如如何有效地将结构化知识融入神经网络,如何处理大规模的知识图谱,如何处理知识图谱的动态性等。
2024-03-19 00:46:03 763
原创 【编程实战】用golang实现DAG scheduler代码
DAG,指directed acyclic graph,是一个有向无环图。在计算机科学中,DAG 通常用于描述计算依赖关系,比如在数据流编程中,DAG 可以表示数据流图,其中节点表示操作,边表示数据依赖关系。scheduler,即调度器,是系统中负责管理和分配资源的组件。在计算机系统中,scheduler 可以根据 différents 策略调度任务,以实现 load balancing 和 resource utilization。
2024-03-19 00:37:30 86
原创 生成对抗网络:AI的创造力
"生成对抗网络:AI的创造力"作者:禅与计算机程序设计艺术背景介绍人工智能的发展自20世纪50年代人工智能(Artificial Intelligence, AI)诞生以来,已经有过几次人类对AI的高潮。近年来,随
2024-03-18 16:43:13 183
原创 深度学习在自然语言处理中的应用
深度学习在自然语言处理中的应用作者:禅与计算机程序设计艺术1. 背景介绍1.1. 什么是自然语言处理 (NLP)?自然语言处理 (Natural Language Processing, NLP) 是指利用计
2024-03-18 16:42:41 16
原创 深度学习在生物信息学领域的应用
深度学习 (Deep Learning) 是一种基于多层神经网络的 machine learning 方法,已被广泛应用于计算机视觉、自然语言处理等领域。近年来,深度学习也开始在生物信息学领域中发挥重要作用。本文将从背景、核心概念、算法、应用、工具和未来趋势等多个角度介绍深度学习在生物信息学领域的应用。1. 背景介绍
2024-03-18 16:42:10 17
原创 大数据与深度学习:数据驱动的AI应用
大数据与深度学arning:数据驱动的AI应用作者:禅与计算机程序设计艺术1. 背景介绍1.1. 大数据时代在当今社会,我们生成和收集了大量的数据,这些数据来自各种来源,如社交媒体、网站日志、传感器等。这些数
2024-03-18 16:41:39 401
原创 机器学习算法:从线性回归到支持向量机
"机器学习算法:从线性回归到支持向量机"作者:禅与计算机程序设计艺术背景介绍1.1 什么是机器学习?机器学习(Machine Learning)是一个计算机科学的分支,它研究如何让计算机从经验中学
2024-03-18 16:41:08 15
原创 计算机视觉中的特征提取与匹配
"计算机视觉中的特征提取与匹配"作者:禅与计算机程序设计艺术1. 背景介绍1.1 计算机视觉的定义计算机视觉 (Computer Vision) 是指利用计算机处理、分析和理解数字图像或视频流中的信息
2024-03-18 16:40:37 67
原创 计算机视觉中的图像检索技术
"计算机视觉中的图像检索技术"作者:禅与计算机程序设计艺术1. 背景介绍1.1. 计算机视觉的基本定义计算机视觉(Computer Vision)是指利用计算机来 comprehend、analyz
2024-03-18 16:40:05 14
原创 AGI的自适应能力:在线学习迁移学习与元学习
AGI (Artificial General Intelligence) 被定义为一种智能系统,它能够理解、学习和应用广泛类型的知识,并应对多样的 cognitive tasks。AGI 的自适应能力是其区别于 Narrow AI 的关键因素。在本文中,我们将详细探讨 AGI 的三种自适应能力:在线学习、迁移学习和元学习。1. 背景介绍
2024-03-18 16:39:34 14
原创 AGI的认知模型:感知理解与推理
AGI (Artificial General Intelligence) 的认知模型:感知、理解与推理作者:禅与计算机程序设計艺術背景介绍AGI(通用人工智能)被定义为一种人工智能系统,它能够执行任何可以
2024-03-18 16:39:03 11
原创 AGI的数据驱动:大数据数据挖掘与知识图谱
AGI(人工通用智能)的数据驱动:大数据、数据挖掘与知识图谱作者:禅与计算机程序设计艺术背景介绍1.1 AGI 简介人工通用智能 (AGI) 被定义为一种计算系统,它能够理解、学习和解决任意 in
2024-03-18 16:38:32 128
原创 AGI的关键技术:生物计算
AGI(人工通用智能)是人工智能(AI)的 ultimate goal,它旨在构建一个可以执行任何 intelligent task 的 AI system。然而,现有的 AI 技术仍然有很大的限制,因此需要新的方法和技术来实现 AGI。1. 背景介绍1.1 AI 和 AGI 的区别
2024-03-18 16:38:00 12
原创 AGI的关键技术:模拟人类学习
AGI(人工通用智能)的关键技术:模拟人类学习作者:禅与计算机程序设计艺术1. 背景介绍1.1 AGI 简介AGI(Artificial General Intelligence),即人工通用智能,被认为是
2024-03-18 16:37:29 11
原创 AGI的关键技术:神经网络知识蒸馏
AGI (Artificial General Intelligence) 指的是一种通用的人工智能,它能够像人类一样进行抽象推理并适应新情境。然而,目前还没有一个真正的 AGI 系统。因此,研究 AGI 的关键技术成为一个重要的课题。其中之一就是“神经网络知识蒸馏” (Neural Network Knowledge Distillation)。1
2024-03-18 16:36:58 10
原创 AGI的关键技术:神经网络知识发现
AGI(人工通用智能)是一个具有广泛影响力的概念,它描述的是一种可以像人类一样学习、理解和解决各种复杂问题的人工智能系统。然而,实现AGI仍然是一个具有挑战性的任务,需要克服许多技术难点。其中,神经网络知识发现(Neural Network Knowledge Discovery, NNKD)被认为是AGI的一个关键技术,本文将对NNKD进行深入探讨。
2024-03-18 16:36:27 11
原创 AGI的历史:从AI到AGI的演变
AGI的历史:从AI到AGI的演变作者:禅与计算机程序设计艺术背景介绍1.1 什么是AGI?AGI(Artificial General Intelligence),通常称为通用人工智能,是一种将机器 intellige
2024-03-18 16:35:55 10
原创 AGI的可扩展性:模型压缩知识蒸馏与迁移学习
AGI (Artificial General Intelligence) 的可扩展性是当今 AI 社区关注的热点话题之一。AGI 旨在开发能够理解、学习和适应各种环境的智能体。然而,随着模型的复杂性增加,训练成本也急剧上涨,这限制了 AGI 的可扩展性。为了克服这一挑战,人工智能研究人员探索了各种技术,包括模型压缩、知识蒸馏和迁移学习。1.背景介绍
2024-03-18 16:35:24 8
原创 AGI的基础:神经网络与深度学习
AGI(人工通用智能)的基础:神经网络与深度学习作者:禅与计算机程序设计艺术背景介绍1.1 人工智能的发展自从人类开始探索人工智能(Artificial Intelligence, AI)技术以来,它一直处
2024-03-18 16:34:53 9
原创 神经网络的长短期记忆网络
"神经网络的长短期记忆网络"作者:禅与计算机程序设计艺术1. 背景介绍1.1. 人工智能与神经网络人工智能(Artificial Intelligence, AI)是计算机科学的一个分支,它试图理解人类
2024-03-18 16:34:22 9
原创 神经网络的实战:智能推荐系统
"神经网络的实战:智能推荐系统"作者:禅与计算机程序设计艺术背景介绍 recommendation systems are an integral part of many online platforms and services. They help u
2024-03-18 16:33:50 8
原创 深度学习在生物信息学中的应用:基因组学与蛋白质结构预测
深度学习在生物信息学中的应用:基因组学与蛋白质结构预测作者:禅与计算机程序设计艺术本文将探讨当前深度学习技术在基因组学和蛋白质结构预测等生物信息学领域中的应用。通过阐述核心概念、算法原理和最佳实践,为读者提供从初次接触到深入研究这些概念和工具的指导。背景
2024-03-18 16:33:19 10
原创 深度学习的优化:动量RMSProp与Adam
"深度学习的优化:动量、RMSProp与Adam"作者:禅与计算机程序设计艺术1. 背景介绍1.1 深度学习的基本概念什么是深度学习?深度学习的应用
2024-03-18 16:31:03 2
原创 强化学习在通用人工智能中的角色
1.背景介绍1.1 人工智能的发展人工智能(AI)是计算机科学的一个重要分支,它试图理解和构建智能实体,以实现和人类相似的决策、理解和学习能力。自从1956年人工智能的概念被提出以来,AI已经经历了多次的繁荣和低谷,如今已经成为了科技领域的热门话题。
2024-03-18 16:08:06 3
原创 深度学习在化学领域中的应用
1.背景介绍1.1 深度学习的崛起深度学习,作为人工智能的一个重要分支,近年来在各个领域都取得了显著的成果。从图像识别、语音识别到自然语言处理,深度学习都展现出了强大的能力。然而,深度学习在化学领域的应用却并不为人所熟知。1.2 化学领域的挑战
2024-03-18 16:07:35 1
原创 通用人工智能的智能安防与监控
1.背景介绍1.1 人工智能的崛起人工智能(AI)已经从科幻小说的概念转变为现实生活中的关键技术。从自动驾驶汽车到智能家居,AI正在改变我们的生活方式。特别是在安防和监控领域,AI的应用已经越来越广泛。1.2 通用人工智能的概念
2024-03-18 16:07:03 4
ClickHouse 高性能、可扩展和低成本的OLAP数据库 陈光剑 20230912
2023-09-14
Will AI Fix Work? 工作节奏超过了我们的跟上能力 人工智能有望创造一种全新的工作方式
2023-05-17
THE AI INDEX REPORT 人工智能指数报告 Measuring trends in Artificial Inte
2023-04-06
Kotlin Coroutines by Tutorials (1st Edition)
2021-04-28
Principles of programming languages by Gilles Dowek (auth.) (z-lib.org).pdf
2021-04-28
A Brief History of Artificial Intelligence
2021-04-28
An introduction to functional programming through lambda calculus.PDF.zip
2019-09-22
《Kotlin项目实战开发》第3章+类型系统与可空类型
2017-09-30
2024 年可以实现 AGI 吗?
2024-01-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人