自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

禅与计算机程序设计艺术

资深程序员。著有《ClickHouse入门、实战与进阶》(最新上架)《Kotlin 极简教程》《Spring Boot 开发实战》《Kotlin 从入门到进阶实战》等技术畅销书。

  • 博客(99985)
  • 资源 (6)
  • 收藏
  • 关注

原创 【图文详解 配图丰富代码详尽】Spark Executor 原理与代码实例讲解

Apache Spark 作为一个快速、通用的分布式计算引擎,已经成为大数据处理领域的主流框架。在 Spark 的架构中,Executor 扮演着至关重要的角色,它是实际执行任务的工作单元。理解 Spark Executor 的原理和工作机制,对于优化 Spark 应用程序性能、提高资源利用率以及解决复杂的分布式计算问题都具有重要意义。本文将深入探讨 Spark Executor 的核心概念、原理、实现细节以及相关的代码实例。

2024-07-20 01:01:27 297

原创 从零开始大模型开发与微调:编码器的实现

随着人工智能在自然语言处理(NLP)领域的快速发展,对大规模预训练模型的需求日益增长。这些大型模型不仅需要具备广泛的语言理解能力,还需要能适应各种下游任务需求。传统上,针对特定任务训练的较小模型往往无法达到所需的泛化效果或性能上限。因此,近年来出现了大量用于大规模数据集上的预训练模型,如BERT、GPT、T5等系列,它们展示了惊人的性能,并且能够通过简单的微调快速适应新任务。

2024-07-13 00:54:44 1706

原创 大语言模型应用指南:什么是大语言模型

随着人工智能技术的不断发展,大型语言模型(Large Language Models, LLMs)近年来受到了广泛关注。作为一种基于深度学习的自然语言处理(NLP)技术,大语言模型能够通过训练海量文本数据,捕捉语言的复杂模式和语义关联,从而实现对自然语言的理解和生成。传统的NLP系统通常采用基于规则或统计方法,需要手工设计特征和构建复杂的流程。而大语言模型则是一种端到端的方法,通过自监督学习直接从原始文本中学习语言知识,无需人工特征工程,具有更强的泛化能力。

2024-07-13 00:52:07 1042

原创 一切皆是映射:强化学习在金融市场预测中的应用:挑战与机遇

在当今复杂多变的金融市场中,准确预测市场走势和做出最优投资决策一直是投资者和金融机构追求的终极目标。传统的金融市场分析方法,如基本面分析和技术分析,虽然在一定程度上能够帮助投资者做出决策,但往往难以应对市场的高度复杂性和不确定性。随着人工智能技术的快速发展,特别是强化学习(Reinforcement Learning,RL)在各个领域的成功应用,将其引入金融市场预测和决策领域成为了一个极具前景的研究方向。强化学习作为机器学习的一个重要分支,其核心思想是通过与环境的持续交互来学习最优策略。

2024-07-12 01:14:45 229

原创 一切皆是映射:深度学习与人类语言理解

在人工智能和计算机科学的发展历程中,人类语言的理解和处理一直是一个极具挑战性的领域。随着深度学习技术的兴起,我们在自然语言处理(NLP)方面取得了前所未有的进展。本文将深入探讨深度学习如何通过各种映射机制来理解和处理人类语言,以及这些技术如何改变了我们与机器交互的方式。深度学习之所以能在语言处理领域取得如此显著的成就,很大程度上归功于其强大的映射能力。从最基本的词向量映射到复杂的语义结构映射,再到跨语言、跨模态的映射,深度学习模型展现出了惊人的灵活性和适应性。

2024-07-12 01:14:13 296

原创 【推荐系统原理与实践】协同过滤推荐算法、基于内容的推荐、深度学习、矩阵分解、嵌入层、注意力机制、优化算法等

推荐系统(Recommendation System)在过去的几十年中,随着互联网技术的兴起和用户生成内容(UGC)的增多,得到了广泛的应用。它通过分析和挖掘用户的行为数据,为用户推荐他们可能感兴趣的商品、文章、音乐、视频等内容,极大地提升了用户的满意度和体验。推荐系统在电子商务、社交媒体、流媒体平台、新闻聚合网站等多个领域中发挥了重要作用,甚至影响着用户的决策过程。

2024-07-10 00:15:53 297

原创 程序员实现财富自由的本质原理与方法实践

财富自由,是每个人的梦想,也是每个人的奋斗目标。对于程序员来说,拥有高度的专业技能和良好的职业发展前景,为实现财富自由提供了独特的优势。然而,单纯依靠工资收入,想要在短期内实现财富自由,几乎是不可能的。因此,我们需要深入理解财富自由的本质原理,并结合程序员的职业特点,探索实现财富自由的有效方法和实践路径。财富自由,指的是个人拥有足够的财富,可以完全依靠投资产生的被动收入,满足日常生活所需,无需再为生计而工作。

2024-07-07 00:15:51 20419 15

原创 大语言模型原理基础与前沿 Scaling Law 规模法则(扩大尺度法则)

近年来,大语言模型(Large Language Models,LLMs)在自然语言处理(Natural Language Processing,NLP)领域取得了突破性进展。从GPT(Generative Pre-trained Transformer)系列到BERT(Bidirectional Encoder Representations from Transformers),再到最近的ChatGPT,大语言模型不断刷新着我们对人工智能能力的认知。这些模型之所以能够在各种NLP任务中表现出色,很大程度

2024-07-06 01:44:58 739

原创 人工智能演进之路:神经网络两落三起

本文我将以"人工智能演进之路:神经网络两落三起"为标题,撰写一篇详细的技术博客文章。这篇文章将深入探讨神经网络在人工智能发展历程中的起起落落,以及其对AI领域的深远影响。我会严格遵循您提供的约束条件和内容要求。下面是文章的正文内容:人工智能(AI)作为计算机科学的一个重要分支,自20世纪50年代诞生以来,经历了几代人的努力和探索。在这漫长的发展历程中,神经网络无疑是最具代表性和影响力的技术之一。它模仿人脑的结构和工作原理,通过大量的互连节点(神经元)构建复杂的网络,以实现类似人类的学习和决策能力。然而,神经

2024-07-05 11:32:33 1752 1

原创 AIGC从入门到实战:AI 2.0 向多领域全场景应用迈进

人工智能生成内容(Artificial Intelligence Generated Content,简称AIGC)作为人工智能领域的一个重要分支,近年来取得了突飞猛进的发展。从最初的文本生成到如今的多模态内容创作,AIGC技术正在深刻改变着我们创造和消费内容的方式。随着AI 2.0时代的到来,AIGC正在向多领域全场景应用迈进,为各行各业带来前所未有的机遇和挑战。

2024-07-02 00:51:33 277

原创 多模态大模型:技术原理与实战 在LLM时代,对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代

软件1.0 vs 软件2.0- **软件1.0**:传统的软件开发方法,通过人工编写明确的**程序逻辑和规则**来实现功能。- **软件2.0**:利用AI和机器学习技术,通过**训练模型来"学习"如何执行任务,而不是显式编程**。在这种范式下,软件的行为更多地**由数据和学习算法决定,而不是固定的规则。**

2024-06-29 01:14:34 563 4

原创 AI Agent: AI的下一个风口 AutoGPT:通过自然语言的需求描述执行自动化任务

随着人工智能技术的快速发展,我们正在进入一个新的AI时代。传统的AI系统虽然在特定任务上表现出色,但往往缺乏灵活性和自主性。用户需要一种更智能、更自主的AI系统,能够理解复杂的自然语言指令,并自动执行各种任务。这种需求催生了AI Agent的概念,其中AutoGPT作为一个典型代表,正在引领AI的下一个风口。基于大型语言模型的自然语言理解和生成任务分解与规划上下文管理和记忆机制自主决策与执行持续学习与优化。

2024-06-29 01:06:11 575

原创 大语言模型原理与工程实践:强化学习工程实践 DeepSpeed-Chat 训练调优实践

随着人工智能技术的不断发展,大型语言模型已经成为自然语言处理领域的核心驱动力。然而,训练这些庞大的模型需要消耗大量的计算资源,这对于大多数研究机构和公司来说是一个巨大的挑战。为了解决这个问题,微软推出了 DeepSpeed,这是一个用于训练大型模型的优化库。DeepSpeed 旨在通过各种优化技术来加速训练过程,包括:模型并行化、数据并行化、梯度累积、混合精度训练等。

2024-06-28 16:16:00 64

原创 随机梯度下降SGD原理与代码实例讲解

在机器学习和数据科学领域,训练一个模型通常涉及寻找参数集θ\thetaθ,使得损失函数LθL(\theta)Lθ尽可能小。损失函数衡量了预测值与真实值之间的差异,其形式多样,常见的如均方误差、交叉熵损失等。对于大型数据集或高维空间的问题而言,手动求解损失函数的全局最优解几乎是不可能的。因此,我们需要高效的优化算法帮助我们找到局部最优解或足够接近全局最优解的解决方案。梯度下降算法是一种用于求解最优化问题的方法,它的目标是找到能使损失函数LθL(\theta)Lθ取到最小值的参数θ∗。

2024-06-28 01:31:57 775

原创 大语言模型应用指南:从人工智能的起源到大语言模型

人工智能(Artificial Intelligence,AI)自诞生以来,一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库,通过逻辑推理和符号计算来解决问题。然而,这种基于规则的系统在处理复杂和多变的现实世界时,表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升,研究者们开始探索基于数据驱动的机器学习方法,尤其是深度学习(Deep Learning),从而引发了AI领域的革命性进展。

2024-06-27 01:03:35 699

原创 大语言模型应用指南:机器学习的过程

在过去的几年里,自然语言处理(NLP)领域取得了长足的进步,很大程度上要归功于大型语言模型(Large Language Models, LLMs)的出现和发展。LLMs是一种基于深度学习的技术,能够从大量文本数据中学习语言模式和语义关系,从而生成看似人类编写的自然语言输出。随着计算能力的不断提高和海量数据的积累,训练大规模语言模型成为可能。这些模型在广泛的自然语言处理任务中表现出色,包括机器翻译、文本摘要、问答系统、内容生成等,展现出令人惊叹的语言理解和生成能力。

2024-06-27 00:16:07 136

原创 大语言模型原理与工程实践:数据瓶颈问题分析和解决方法原理与应用

在过去的几年里,随着深度学习技术的飞速发展,大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了显著的进展。这些模型通过在大规模无标签文本数据上进行预训练,学习到了丰富的语言知识和常识,并在各种NLP任务中表现出色。然而,随着模型规模的不断扩大和应用场景的不断拓展,数据瓶颈问题日益凸显,成为制约大语言模型进一步发展的关键因素。

2024-06-25 01:12:39 256

原创 互联网技术架构全栈技术管理核心能力

随着互联网技术的快速发展,企业对于技术架构的要求越来越高。从单体应用向分布式架构转变,从传统IT向云计算、大数据、人工智能等领域拓展,技术架构的复杂性日益增加。如何构建高效、可靠、可扩展的技术架构,成为了企业IT部门面临的重要挑战。技术管理人员需要具备良好的思考总结能力,能够对工作过程中遇到的问题进行分析和总结。日志记录:记录工作日志,总结经验教训。思考笔记:定期进行思考笔记,梳理思路,总结经验。反思总结:对工作中的问题进行反思总结,寻找解决方案。

2024-06-25 00:28:16 75 2

原创 大语言模型原理与应用实践:基于监督学习进行微调 Supervised Learning & Fine-Tuning

近年来,随着深度学习技术的快速发展,大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练,学习到了丰富的语言知识和常识,可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning),获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。

2024-06-25 00:27:22 138

原创 AIGC从入门到实战:ChatGPT 简介:从 GPT1 到 GPT4 的发展历程和应用领域

ChatGPT采用了Transformer架构和自回归语言模型。给定一段文本序列,模型通过自注意力机制提取上下文信息,并利用Masked Language Model(MLM)和Next Sentence Prediction(NSP)进行预训练。在应用阶段,模型根据输入的Prompt生成相应的文本响应。本文全面介绍了 ChatGPT 的发展历程、技术原理和应用实践。首先,我们回顾了从 GPT-1 到 GPT-4 的演进过程,阐述了 ChatGPT 的核心概念。

2024-06-24 01:17:28 766

原创 【LangChain编程:从入门到实践】自定义提示模板原理与应用实战 系列文章

随着人工智能技术的快速发展,特别是自然语言处理领域的突破,大语言模型(LLM)正在重塑人机交互的方式。LLM能够理解和生成接近人类水平的自然语言,为构建智能对话系统和知识应用带来了新的机遇。然而,直接使用LLM进行应用开发往往需要大量的prompt engineering工作,而且缺乏组合不同LLM能力的灵活性。这些挑战催生了一个新的编程范式—— LangChain。LangChain是一个面向LLM应用开发的开源框架,它提供了一系列工具和最佳实践,帮助开发者更轻松地构建LLM驱动的应用。

2024-06-21 01:18:42 528

原创 LLM-based Multi-Agent System

随着人工智能技术的不断发展,基于大语言模型(LLM, Large Language Model)的多智能体系统(Multi-Agent System, MAS)成为研究的热点。多智能体系统通过多个智能体的协同工作,可以解决单一智能体难以应对的复杂问题。然而,传统的多智能体系统在处理自然语言理解、生成和交互方面存在一定的局限性。大语言模型的引入为多智能体系统带来了新的可能性,使其在自然语言处理(NLP)任务中的表现得到了显著提升。

2024-06-20 00:54:22 911

原创 ResNet:残差学习的突破

深度学习是机器学习的一个重要分支,近年来取得了显著的进展。自从2006年Hinton等人提出深度信念网络(DBN)以来,深度学习在计算机视觉、自然语言处理、语音识别等领域取得了广泛的应用和成功。尤其是2012年AlexNet在ImageNet竞赛中的胜利,标志着深度学习在图像分类任务中的突破性进展。ResNet的提出极大地推动了深度学习的发展,使得训练更深层的神经网络成为可能。残差学习的思想在许多后续的研究中得到了广泛应用和扩展。

2024-06-15 01:54:23 355

原创 大规模语言模型从理论到实践 LoRA

早期的语言模型主要基于统计方法,如n-gram模型。这些模型虽然简单,但面临数据稀疏、长距离依赖等问题,难以捕捉语言的深层语义。大规模语言模型泛指基于深度神经网络、包含亿级以上参数的语言模型。它们通过在大规模语料上进行自监督预训练,习得了丰富的语言知识,具备强大的理解、生成乃至推理能力。但同时,它们也面临训练和存储成本高、适应特定领域能力弱等挑战7。self.r = rself.r = r这里r为LoRA矩阵的秩,lora_alpha为初始化系数,为LoRA层额外的dropout。lora_A和。

2024-06-09 11:44:01 855 4

原创 大语言模型原理与工程实践:大语言模型的缩放定律

随着计算能力和数据量的不断增长,人工智能领域正在经历一场深刻的变革。大型语言模型(Large Language Models,LLMs)的出现,标志着人工智能进入了一个新的时代。这些模型通过在海量文本数据上进行预训练,学习了丰富的语言知识和上下文关联能力,展现出惊人的自然语言理解和生成能力。这是一个基于LSTM的语言模型,包括embedding层、LSTM层和全连接层。您可以根据需要修改模型结构。缩放定律作为一种强大的工具,在大型语言模型的训练和优化中展现了广泛的应用和强大的性能。

2024-06-06 00:57:13 1058

原创 FewShot Learning: 新一代机器学习技术的前沿

在传统的机器学习和深度学习模型中,训练一个高性能的模型通常需要大量的标注数据。然而,在许多实际应用场景中,获取大量标注数据既昂贵又耗时。为了应对这一挑战,FewShot Learning(少样本学习)技术应运而生。FewShot Learning 旨在通过极少量的样本数据进行模型训练,并在此基础上实现良好的泛化能力。这一技术在图像识别、自然语言处理等领域展现出了巨大的潜力。FewShot Learning 作为机器学习领域的前沿技术,展现出了巨大的潜力和应用前景。

2024-06-03 00:52:49 1043

原创 【大模型应用开发 动手做AI Agent】Plan-and-Solve策略的提出

Plan-and-Solve策略源于经典的"分而治之"思想,旨在将复杂任务分解为多个可管理的子任务,然后对每个子任务进行规划和解决,最终将子任务的输出组合起来得到最终结果。: 理解输入的任务需求,明确任务目标。: 将复杂任务分解为多个子任务,并确定子任务的执行顺序。: 针对每个子任务,生成解决方案并执行,直至完成整个任务。这种策略的关键在于,通过任务规划(Task Planning)将复杂问题分解,使大模型能够集中处理每个子任务,降低了认知负荷;

2024-06-02 12:17:12 109

原创 【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发

随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。

2024-05-27 01:59:29 602

原创 Kafka 消息存储与销毁机制

在现代分布式系统中,消息队列作为一种重要的中间件,广泛应用于数据传输、异步处理、负载均衡等场景。Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统,因其强大的性能和可靠性,成为了业界的首选。Kafka 的消息存储与销毁机制是其核心功能之一,本文将深入探讨 Kafka 的消息存储与销毁机制,帮助读者更好地理解和使用 Kafka。Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,并于 2011 年开源。高吞吐量:Kafka 能够处理大量的消息,适用于大数据实时处理场景。

2024-05-27 01:18:13 437 4

原创 【大模型应用开发 动手做AI Agent】Agent的规划和决策能力系列

在人工智能领域,Agent(代理)的概念已经深入人心。一个AI Agent不仅能够感知环境,还能够做出决策并采取行动,以实现特定目标。随着大模型(如GPT-4、BERT等)的出现,AI Agent的能力得到了显著提升。这些大模型不仅拥有强大的自然语言处理能力,还具备了更高层次的推理和决策能力。随着大模型的不断发展,AI Agent的能力将会越来越强。然而,如何在保证模型性能的同时减少计算资源的消耗,仍然是一个重要的挑战。此外,AI Agent在实际应用中的安全性和伦理问题也需要得到更多关注。

2024-05-26 00:55:37 595

原创 遗传算法与深度学习:优化神经网络结构

关键词: 遗传算法,深度学习,神经网络,结构优化,超参数调整深度学习近年来取得了令人瞩目的成就,其在图像识别、自然语言处理、语音识别等领域展现出巨大的应用潜力。然而,深度学习模型的性能很大程度上取决于其结构和超参数的设置。手动设计神经网络结构需要大量的专业知识和经验,并且效率低下。为了解决这个问题,人们开始探索使用自动化方法来优化神经网络结构,而遗传算法作为一种经典的进化算法,为解决这一问题提供了新的思路。遗传算法(Genetic Algorithm,GA)是一种模拟自然选择和遗传机制的优化算法。它将问题的

2024-05-23 00:26:30 1176

原创 Flink RPC Connector 实现原理与代码实战

在流处理场景下,数据往往来自多个异构的源系统,如消息队列、数据库、文件系统、API 服务等。Flink 作为流处理的核心引擎,需要能够灵活地与这些外部系统进行数据交换。接收 RPC 调用,动态控制 Flink 作业的行为,如启停任务、调整并发度、更新配置等。向其他服务发起 RPC 调用,触发异步流程,如调用推理服务进行在线预测等。为满足这些需求,Flink 内置了 RPC Connector 机制,提供了一套通用组件和编程接口,帮助用户简单快速地实现 RPC 交互。继承接口,实现一个自定义的。

2024-05-22 20:31:47 294 5

原创 大语言模型原理与工程实践:大语言模型的推理能力

大语言模型原理与工程实践:大语言模型的推理能力

2024-05-20 02:12:03 609

原创 【AI大数据计算原理与代码实例讲解】Spark SQL:构建大数据分析引擎的利器

随着互联网、物联网、移动互联网的快速发展,全球数据量呈现爆炸式增长,我们正在步入一个前所未有的大数据时代。海量数据的存储、管理、处理和分析给传统的数据处理技术带来了巨大的挑战。如何高效地从海量数据中获取有价值的信息,已成为学术界和工业界共同关注的焦点。展望Spark SQL的未来,分析其发展趋势,同时也要直面其面临的挑战。Spark SQL将继续发展更智能的查询优化器,以提高查询性能。Spark SQL将支持更多的数据源和数据类型,并提供更丰富的内置函数和操作符。

2024-05-18 02:45:26 688 1

原创 从零开始大模型开发与微调:ResNet残差网络基础原理与程序设计基础

早期的计算机视觉任务主要依赖于传统的机器学习方法,如支持向量机(SVM)、决策树等。这些方法需要手工设计特征,难以捕捉图像中的高层语义信息。随着数据规模的增大和计算力的提升,深度学习开始在计算机视觉领域崭露头角。深度学习通过构建多层神经网络,可以自动学习图像的层次化特征表示,极大地提升了视觉任务的性能。在分类任务中,交叉熵损失函数是常用的损失函数之一。对于一个样本,设其真实标签为yyy,预测概率为y\hat{y}y​ℓyy−∑i1Cyilog⁡yiℓyy​−。

2024-05-10 15:42:17 940 1

原创 大语言模型原理基础与前沿:基于监督学习进行微调 Supervised Learning & Fine-Tuning

语言模型的研究可以追溯到20世纪50年代,最初的语言模型主要基于统计方法,如 N-gram 模型。这些模型通过计算一个单词在给定前 n-1 个单词的条件下出现的概率来预测下一个单词。虽然 N-gram 模型在一定程度上捕捉了语言的统计规律,但其表达能力有限,难以刻画语言的深层语义信息。统计语言模型是一种基于概率论的语言模型,其目标是计算一个句子或单词序列出现的概率。常见的统计语言模型包括 N-gram 模型和隐马尔可夫模型(HMM)等。

2024-05-07 11:32:43 544

原创 Python深度学习实践:自适应学习率调整技术

这篇文章介绍了深度学习中自适应学习率调整技术,包括 AdaGrad、RMSprop、Adam 等算法的原理、数学模型和公式,并提供了使用 TensorFlow 和 PyTorch 实现 Adam 优化器的代码示例,最后讨论了自适应学习率调整技术的未来发展趋势和挑战。自适应学习率调整技术是深度学习领域的重要研究方向,其目标是根据模型训练过程中的反馈信息,自动调整学习率的大小,提高模型训练效率和效果。

2024-05-06 02:25:58 878 2

原创 AI人工智能大模型中——数据集就是一切 The dataset is everything

我认为对计算乘数的搜索比任何不严格遵守缩放定律的人想象的要普遍得多:实际上,机器学习领域的每一位不研究现有技术的新应用的科学家都应该执行计算效率扫描以确保他们的发现确实相关。不过,随着训练的进行,这些机制会“上线”:当您需要提高学习更复杂的数据分布层的能力时,它们就会提供有意义的价值。更重要的是,认识到像 GPT-4 或 DALL-E 3 这样的巨大模型仍然存在根本性缺陷,这表明试图从 Llama 2 或 Stable Diffusion 等相对较小的模型中获得真正智能的行为是没有希望的。

2024-04-25 03:17:14 260 2

原创 【AI大模型应用开发实战】大型语言模型评估指南白皮书(LLM Eval)

近年来,大型语言模型(LLM)在自然语言处理领域取得了重大进展,例如 GPT-3 和 Chat-GPT。这些模型经过大型数据集的训练,在文本相关任务中表现出卓越的能力,甚至超越了人类。本文将简要介绍如何验证 LLMs 性能的评估指标。自然语言处理(NLP)是人工智能的一个领域,涉及计算机和人类语言之间的交互。NLP 的基本任务之一是语言建模 (LM),它涉及构建统计模型来分析和生成自然语言。LM 已成为推进机器语言智能的关键方法,使机器能够执行机器翻译、情感分析和对话系统等任务。

2024-04-24 23:14:44 363 3

原创 Transformer模型的预训练与微调技术

介绍了自然语言处理技术的发展历程,特别是Transformer模型的崛起,并详细介绍了Transformer模型的核心概念、算法原理和应用场景。自然语言处理技术是人工智能领域的重要研究方向,其目标是使计算机能够理解和处理人类语言。近年来,随着深度学习技术的兴起,NLP领域取得了显著的进展。Transformer模型是一种基于自注意力机制的深度学习模型,它采用编码器-解码器架构,并通过多头注意力机制来捕捉输入序列中不同位置之间的依赖关系。

2024-04-24 12:03:24 789 8

ClickHouse 高性能、可扩展和低成本的OLAP数据库 陈光剑 20230912

ClickHouse 设计哲学 具体问题具体分析 use good algorithms in a good context; 深入细节 dig into details; 度量指标 measure everything; 贴近生产环境 be close to production; 基准测试 do benchmarks, more of them; 不断试验、实践never stop experimenting; 大规模测试 test at scale; 大胆创新 do weird stuff; have fun! It is a database: A database has both a storage engine and a query engine. ClickHouse can efficiently ingest data from various sources and its query engine provides low-latency query responses. It is an OLAP database: An On-Line Analytic

2023-09-14

Will AI Fix Work? 工作节奏超过了我们的跟上能力 人工智能有望创造一种全新的工作方式

The pace of work is outpacing our ability to keep up. AI is poised to create a whole new way of working. 工作节奏超过了我们的跟上能力。人工智能有望创造一种全新的工作方式。 微软工作趋势指数年度报告( Work Trend Index Annual Report ) Key findings: The data points to three urgent insights business leaders must know now as they look to quickly and responsibly adopt AI. 1. Digital debt is costing us innovation: 64% of people have struggled with finding time and energy to get their work done, and those workers are 3.5x more likely to say they

2023-05-17

THE AI INDEX REPORT 人工智能指数报告 Measuring trends in Artificial Inte

THE AI INDEX REPORT 人工智能指数报告 Measuring trends in Artificial Intelligence 衡量人工智能的趋势 TOP TAKEAWAYS 最重要的要点 Industry races ahead of academia. 工业界领先于学术界。 Until 2014, most significant machine learning models were released by academia. Since then, industry has taken over. In 2022, there were 32 significant industry-produced machine learning models compared to just three produced by academia. Building state-of-the-art AI systems increasingly requires large amounts of data, compute, and money, resources

2023-04-06

四大常用限流算法原理详解:计数器固定窗口、计数器滑动窗口、漏桶、令牌桶算法.pdf

四大常用限流算法原理详解:计数器固定窗口、计数器滑动窗口、漏桶、令牌桶算法.pdf

2021-05-28

Kotlin Coroutines by Tutorials (1st Edition)

Kotlin Coroutines by Tutorials (1st Edition)

2021-04-28

Principles of programming languages by Gilles Dowek (auth.) (z-lib.org).pdf

Principles of programming languages by Gilles Dowek (auth.) (z-lib.org).pdf

2021-04-28

A Brief History of Artificial Intelligence

A Brief History of Artificial Intelligence What It Is, Where We Are, and Where We Are Going by Michael Wooldridge (z-lib.org).pdf

2021-04-28

An introduction to functional programming through lambda calculus.PDF.zip

Author: Michaelson, Greg Functional programming is rooted in lambda calculus, which constitutes the world's smallest programming language. This well-respected text offers an accessible introduction to functional programming concepts and techniques for students of mathematics and computer science. The treatment is as nontechnical as possible, and it assumes no prior knowledge of mathematics or functional programming. Cogent examples illuminate the central ideas, and numerous exercises appear throughout the text, offering reinforcement of key concepts. All problems feature complete solutions.

2019-09-22

《Kotlin项目实战开发》第3章+类型系统与可空类型

《Kotlin项目实战开发》 第3章 类型系统与可空类型 跟Java、C和C ++ 一样, Kotlin也是“静态类型编程语言”。 通常,编程语言中的类型系统中定义了  如何将数值和表达式归为不同的类型  如何操作这些类型  这些类型之间如何互相作用 我们在编程语言中使用类型的目的是为了让编译器能够确定类型所关联的对象需要分配多少空间。 在每一个编程语言中,都有一个特定的类型系统。静态类型在编译时期时,就能可靠地发现类型错误。因此通常能增进最终程序的可靠性。 类型系统在各种语言之间有非常大的不同,主要的差异存在于编译时期的语法,以及运行时期的操作实现方式。 本章我们简单介绍一下Kotlin的类型系统。

2017-09-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除