![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
人工智能初探
文章平均质量分 92
介绍人工智能技术中的基础概念,基础网络,以此对人工智能技术的宏观理解和认识
智慧医疗探索者
浙江大学研究生,专注于后端技术架构和人工智能算法的研究,具有多年大厂工作经验。
展开
-
中国目前的人工智能在全球处于什么水平
中国目前的人工智能行业虽与发达国家有一定差距,但仍处在世界前列,但随着国家的大力发展,我也相信,中国的人工智能行业会发展越来越好,越来越快!原创 2024-01-26 16:48:10 · 1909 阅读 · 0 评论 -
人工智能之数据科学库sklearn
sklearn,全称scikit-learn,是python中的机器学习库,建立在numpy、scipy、matplotlib等数据科学包的基础之上,涵盖了机器学习中的样例数据、数据预处理、模型验证、特征选择、分类、回归、聚类、降维等几乎所有环节,功能十分强大原创 2024-01-24 18:15:58 · 1744 阅读 · 0 评论 -
机器学习神器:Sklearn详解
什么是机器学习?字面上来讲就是 (人用) 计算机来学习。谈起机器学习就一定要提起汤姆米切尔 (Tom M.Mitchell),就像谈起音乐就会提起贝多芬,谈起篮球就会提起迈克尔乔丹,谈起电影就会提起莱昂纳多迪卡普里奥。原创 2024-01-23 14:53:24 · 2634 阅读 · 0 评论 -
主流大语言模型从预训练到微调的技术原理
比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节:tokenizer、位置编码、Layer Normalization、激活函数等。 2. 大语言模型的分布式训练技术:数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。 3. 大语言模型的参数高效微调技术:prompt tuning、prefix tuning、adapter等原创 2024-01-06 20:22:48 · 1357 阅读 · 0 评论 -
深度学习中的Dropout
Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中,通过忽略一半的特征检测器(让一半的隐层节点值为0)(不止可以选择一半,也可以选择其他比例),可以明显地减少过拟合现象。这种方式可以减少特征检测器(隐层节点)间的相互作用,检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。原创 2023-12-24 23:54:37 · 1776 阅读 · 0 评论 -
深度学习中的张量维度
在深度学习框架中,Tensor(张量)是一种数据结构,用于存储和操作多维数组。张量可以被视为一种扩展的矩阵,它可以具有任意数量的维度。原创 2023-12-19 23:49:58 · 1593 阅读 · 0 评论 -
人工智能125个常用名词解释
人工智能可以被分为强人工智能和弱人工智能。强人工智能是指能够像人类一样思考、学习、判断和决策的系统。而弱人工智能是指能够完成某些特定任务,但无法像人类一样进行综合思考和决策的系统。原创 2023-12-18 17:01:22 · 2591 阅读 · 0 评论 -
深度学习中的KL散度
KL散度(Kullback-Leibler Divergence),也称为相对熵,是信息论中的一个概念,用于衡量两个概率分布间的差异。它起源于统计学家Kullback和Leibler的工作,它的本质是衡量在用一个分布来近似另一个分布时,引入的信息损失或者说误差。在机器学习、深度学习领域中,KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法、GAN网络中。原创 2023-12-18 16:44:37 · 2582 阅读 · 0 评论 -
人工智能中的核心概念
人工智能英文缩写为AI,是一种由人制造出来的机器,该机器可以模仿人的思想和行为,从而体现出一种智能的反应。原创 2023-12-17 23:43:18 · 1030 阅读 · 0 评论 -
深度学习中的潜在空间
Latent Space 潜在空间:Latent ,这个词的语义是“隐藏”的意思。“Latent Space 潜在空间”也可以理解为“隐藏的空间”。Latent Space 这一概念是十分重要的,它在“深度学习”领域中处于核心地位,即它是用来学习数据的潜在特征,以及学习如何简化这些数据特征的表达,以便发现某种规律模式,最终来识别、归类、处理这些数据。原创 2023-12-17 23:14:47 · 2124 阅读 · 0 评论 -
深度学习中的高斯分布
高斯分布(Gaussian Distribution)又称正态分布(Normal Distribution)。高斯分布是一种重要的模型,其广泛应用与连续型随机变量的分布中,在数据分析领域中高斯分布占有重要地位。高斯分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用,高斯分布在统计学上非常重要。原创 2023-12-14 22:38:26 · 3295 阅读 · 1 评论 -
深度学习中的13种概率分布
在贝叶斯概率论中,如果后验分布 p(θx)与先验概率分布 p(θ)在同一概率分布族中,则先验和后验称为共轭分布,先验称为似然函数的共轭先验。原创 2023-12-11 23:53:26 · 1195 阅读 · 0 评论 -
机器学习中的特征工程
特征工程涉及从原始数据中提取、选择和转换特征,以改善模型的性能。特征工程对于构建有效的机器学习模型至关重要,因为模型的质量和性能很大程度上取决于输入数据的质量。特征工程通常包括特征选择、数据预处理、降维等环节。原创 2023-12-09 00:56:16 · 1527 阅读 · 0 评论 -
深度学习:注意力机制(Attention Mechanism)
注意力机制(Attention Mechanism)是深度学习领域中的一种重要技术,特别是在序列模型如自然语言处理(NLP)和计算机视觉中。它使模型能够聚焦于输入数据的重要部分,从而提高整体性能和效率。原创 2023-12-08 12:29:43 · 5345 阅读 · 0 评论 -
什么是神经网络的超参数
神经网络的超参数调整是一个需要细致考虑的过程。理解每个超参数的作用和如何影响模型的学习过程对于构建高效、准确的神经网络至关重要。超参数的选择不仅取决于数据和任务的性质,还需要考虑计算资源的限制。有效的超参数调整通常需要大量的实验和经验。原创 2023-12-06 22:59:49 · 2324 阅读 · 0 评论 -
国内知名大模型推荐
华为盘古大模型由CV,NLP,多模态,预测和科学计算5大基础模型组成,可实现文本生成、图片生成、代码生成、图片理解、气象预测、智能助手打造等多种功能。华为盘古大模型作为通用AI预训练模型,可以广泛应用于矿山、药物分子、铁路、气象、海浪、制造等领域,提供智能化的解决方案。原创 2023-12-05 23:52:11 · 2303 阅读 · 0 评论 -
AIGC发展史
AIGC(AI Generated Content)是指利用人工智能技术生成的内容。它也被认为是继PGC,UGC之后的新型内容生产方式,AI绘画、AI写作等都属于AIGC的具体形式。2022年AIGC发展速度惊人,迭代速度更是呈现指数级发展,这其中深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,都在助力AIGC的快速发展。随着人工智能绘画作品的夺冠、超级聊天机器人ChatGPT的出现,彻底拉开了智能创作时代的序幕。原创 2023-12-05 23:04:07 · 2027 阅读 · 0 评论 -
人工智能发展史
人工智能(AI)的发展史是一段跨越数十年的旅程,涵盖了从早期理论探索到现代技术革新的广泛内容。人工智能的发展历程展示了从最初的概念探索到现代技术突破的演变。尽管经历了多次起伏,但AI领域持续进步,不断拓展其应用范围和影响力。原创 2023-12-03 23:41:17 · 3598 阅读 · 0 评论 -
深度学习中的知识蒸馏(Knowledge Distillation)
知识蒸馏是深度学习领域的一项重要技术,它通过将大型模型的知识迁移到小型模型来实现模型压缩和性能优化。这一技术在模型部署、效率提升和隐私保护等方面展现出巨大的潜力。随着深度学习技术的不断发展,知识蒸馏在未来将在更多领域发挥重要作用。原创 2023-11-30 20:29:51 · 1561 阅读 · 0 评论 -
pytorch中的激活函数详解
激活函数是神经网络中引入的非线性函数,用于捕获数据中的复杂关系。它来自动物界的灵感,动物的神经元会接受来自对它有作用的其他神经元的信号,当然这些信号对该神经元的作用大小不同(即具有不同的权重)。原创 2023-11-26 23:25:07 · 1694 阅读 · 1 评论 -
什么是半监督学习
半监督学习通过结合标注数据的指导和未标注数据的丰富信息,提供了一种在标注数据有限时仍能有效学习的方法。它在许多实际应用中显示出巨大的潜力,尤其是在数据获取成本高昂或困难的领域。随着机器学习技术的不断进步,半监督学习的方法和应用将继续得到发展和完善。原创 2023-11-26 21:19:52 · 1282 阅读 · 1 评论 -
什么是无监督学习
无监督学习(Unsupervised Learning)是机器学习的一种类型,它涉及从未标记的数据中发现隐藏的模式。与监督学习不同,无监督学习的数据没有显式的标签或已知的结果变量。其核心目的是探索数据的内在结构和关系。无监督学习通常用于数据探索、发现洞见以及识别数据中的潜在结构。原创 2023-11-25 23:12:07 · 2005 阅读 · 0 评论 -
什么是强化学习
强化学习是一种独特且强大的机器学习范式,它适用于一系列需要顺序决策和自适应控制的复杂问题。通过不断的探索和实验,强化学习模型学习如何在给定环境中作出最优决策。尽管存在一些挑战,但随着研究的深入和技术的发展,强化学习将在许多领域发挥更大的作用。原创 2023-11-24 23:50:35 · 1875 阅读 · 0 评论 -
什么是监督学习
监督学习是机器学习领域中最基础和最广泛应用的一种方法,它通过从标注数据中学习模式和关系,使得机器能够进行准确的预测和分类。随着技术的发展,监督学习在越来越多的领域展现出其强大的能力。原创 2023-11-24 23:27:07 · 1063 阅读 · 0 评论 -
什么是AIGC
"AIGC"代表“人工智能生成内容”(Artificial Intelligence Generated Content),它指的是使用人工智能(AI)技术自动生成的内容,这些内容可以包括文本、图像、音乐、视频或其他多媒体形式。AIGC涵盖了从简单的自动化文本生成到复杂的视觉艺术创作等广泛的应用。原创 2023-11-19 22:45:23 · 726 阅读 · 0 评论 -
什么是迁移学习
迁移学习是解决数据稀缺、提高模型性能和加快训练进程的有效方法。随着机器学习和人工智能的不断发展,迁移学习在许多领域都显示出巨大的潜力。然而,如何有效地实施迁移学习、选择合适的源任务和处理领域差异仍然是该领域的研究热点。随着技术的进步,预计迁移学习将在未来的人工智能应用中扮演更加重要的角色。原创 2023-11-23 18:24:02 · 10492 阅读 · 0 评论 -
深度学习中的Zero-shot(零次学习)
Zero-shot学习(ZSL)是机器学习领域的一种先进方法,它旨在使模型能够识别、分类或理解在训练过程中未见过的类别或概念。这种学习方法对于解决现实世界中常见的长尾分布问题至关重要,即对于一些罕见或未知类别的样本,传统的监督学习方法可能难以处理。原创 2023-11-22 20:49:06 · 5793 阅读 · 0 评论 -
什么是神经网络(Neural Network,NN)
神经网络是一种模拟人类大脑工作方式的计算模型,它是深度学习和机器学习领域的基础。神经网络由大量的节点(或称为“神经元”)组成,这些节点在网络中相互连接,可以处理复杂的数据输入,执行各种任务,如分类、回归、模式识别等。原创 2023-11-21 16:36:23 · 5321 阅读 · 0 评论 -
自然语言处理:Transformer与GPT
Transformer提供了一种强大的架构,而GPT则是这种架构在特定领域(如文本生成)的一个成功应用。随着深度学习和NLP技术的发展,Transformer架构和基于它的各种模型(如GPT)将继续在多个领域发挥重要作用。原创 2023-11-20 20:40:24 · 2098 阅读 · 0 评论 -
深度学习:欠拟合与过拟合
AI模型的欠拟合(Underfitting)发生在模型未能充分学习训练数据中的模式和结构时,导致它在训练集和验证集上都表现不佳。欠拟合通常是由于模型太过简单,没有足够的能力捕捉到数据的复杂性和细节。原创 2023-11-19 22:59:15 · 825 阅读 · 0 评论 -
OpenAI的Whisper蒸馏:蒸馏后的Distil-Whisper速度提升6倍
Distil-Whisper不仅继承了原始Whisper模型的优秀血统,更在性能和速度上进行了显著的提升。专为英语设计的Distil-Whisper,在减小模型体积的同时,实现了处理速度的大幅跳跃,这在现有的AI语音识别技术中堪称一次创新的突破。原创 2023-11-18 00:24:27 · 1634 阅读 · 0 评论 -
什么是人工通用智能(AGI)
AGI最近经常被提到,主要是因为ChatGPT的开发公司OpenAI将其写在了自己的企业使命中了。"AGI"指的是"人工通用智能"(Artificial General Intelligence)。这是一个人工智能研究领域的术语,用来描述一种具有广泛认知能力的机器,类似于人类智能。原创 2023-11-18 00:13:58 · 1149 阅读 · 0 评论 -
Pytorch多GPU并行训练: DistributedDataParallel
在训练大型数据集或者很大的模型时一块GPU很难放下,例如最初的AlexNet就是在两块GPU上计算的。并行计算一般采取两个策略:一个是模型并行,一个是数据并行。左图中是将模型的不同部分放在不同GPU上进行训练,最后汇总计算。而右图中是将数据放在不同GPU上进行训练,最后汇总计算,不仅能增大BatchSize,还能加快计算速度,提高计算精度原创 2023-11-15 07:20:58 · 1560 阅读 · 0 评论 -
深度学习:多模态与跨模态
多模态”和“跨模态”是另外两个容易混淆的术语,“多模态”和“跨模态”都是处理多种数据类型或特征的术语,但“多模态”更关注同时处理多种数据类型的算法,而“跨模态”更侧重于将一种数据类型映射到另一种数据类型进行处理。原创 2023-11-13 21:53:09 · 10043 阅读 · 0 评论 -
pytorch优化器详解
在PyTorch中,优化器(Optimizer)是用于更新神经网络参数的工具。它根据计算得到的损失函数的梯度来调整模型的参数,以最小化损失函数并改善模型的性能。即优化器是一种特定的机器学习算法,通常用于在训练深度学习模型时调整权重和偏差。是用于更新神经网络参数以最小化某个损失函数的方法。它通过不断更新模型的参数来实现这一目的。优化器通常用于深度学习模型,因为这些模型通常具有大量可训练参数,并且需要大量数据和计算来优化。优化器通过不断更新模型的参数来拟合训练数据,从而使模型在新数据上表现良好。原创 2023-11-10 18:06:08 · 3275 阅读 · 0 评论 -
pytorch中常用的损失函数
损失函数在人工智能领域中起着至关重要的作用,它不仅是模型训练和优化的基础,也是评估模型性能、解决过拟合问题以及指导模型选择的重要工具。不同的损失函数适用于不同的问题和算法,选择合适的损失函数对于取得良好的模型性能至关重要。原创 2023-11-09 21:50:13 · 726 阅读 · 0 评论 -
决策式AI与生成式AI
人工智能中深度学习,是一种受人脑的生物神经网络机制启发,并模仿人脑来解释、处理数据的机器学习技术,它能自动对数据进行特征提取、识别、决策和生成。它可以从不同的维度进行划分,如果按模型的特点来划分可分为决策式AI和生成式AI。这两种类型的AI在设计目标、应用领域和工作方式上都有所不同。原创 2023-11-07 20:52:01 · 1604 阅读 · 0 评论 -
深度学习:基于长短时记忆网络LSTM实现情感分析
文本情感分析(Sentiment Analysis)是自然语言处理(NLP)方法中常见的应用,也是一个有趣的基本任务,尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。本文将介绍情感分析中的情感极性(倾向)分析。所谓情感极性分析,指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下,只分为两类。例如对于“喜爱”和“厌恶”这两个词,就属于不同的情感倾向。本文将详细介绍如何使用深度学习模型中的LSTM模型来实现文本的情感分析。原创 2023-09-27 13:01:02 · 10739 阅读 · 10 评论 -
深度学习:基于循环神经网络RNN实现自然语言生成
循环神经网络(Recurrent Neural Network,简称RNN)是一种处理序列数据的神经网络结构,它具有记忆能力,能够捕捉序列中的时序信息。RNN在自然语言处理、时间序列预测、语音识别等领域有着广泛的应用。RNN的目的使用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如,你要预测句子的下一个单词是什么,一般需要用到前面的单词,因为一个句子中前后单词并不是独立的。原创 2023-09-04 19:20:01 · 1434 阅读 · 0 评论 -
为AI而生的数据库:Milvus详解及实战
概述Milvus 是一款云原生向量数据库,它具备高可用、高性能、易拓展的特点,用于海量向量数据的实时召回。MilvusMilvus 基于FAISS、Annoy、HNSW 等向量搜索库构建,核心是解决稠密向量相似度检索的问题。在向量检索库的基础上,Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能,同时大幅优化了向量检索的性能,可满足任何向量检索场景的应用需求。原创 2023-08-18 18:53:59 · 13248 阅读 · 3 评论