人工智能
文章平均质量分 77
chenxy02
AI+云计算
展开
-
华为昇腾系列——入门学习
昇腾(Ascend)是华为推出的人工智能处理器品牌,其系列产品包括昇腾910和昇腾310芯片等。原创 2024-03-05 19:31:19 · 1873 阅读 · 0 评论 -
用Gradio做一个ai-chat应用
其实这个小应用的完成,最大的难点是 为上述代码中的 OpenAI(base_url="https://xxxxx/v1/") 设置一个可调通的API地址。上半年国内的大模型还没遍地开花的时候,笔者花巨资购了两台云服务器及给OpenAI充了20$,给身边的亲友给做了一个可使用的ai-chat。由于笔者提供的ai-chat服务,是一个公网可访问的界面。给lanuch()方法,传入auth参数,设置了访问应用所需的账户、密码。,自己编写web后台,找朋友做界面,做出了一个版本。后来Gradio发布了。原创 2024-01-11 19:33:50 · 689 阅读 · 0 评论 -
产品调研——AI平台
本文主要记录了对腾讯云-TIONE平台、华为云-ModelArt等主流AI平台的产品调研。原创 2023-12-18 23:06:06 · 222 阅读 · 0 评论 -
Pytorch分布式训练(一)
2023年,训练模型时,使用DDP(DistributedDataParallel)已经成为Pytorch炼丹师的标准技能。本文主要讲述实现Pytorch分布式要做哪些事情,以及如何理解Pytorch分布式训练背后的通信原理(不会很深入)。原创 2023-06-29 14:59:40 · 723 阅读 · 0 评论 -
AI模型推理(1)——入门篇
本文主要介绍AI模型推理的相关基础概念,为后续云原生模型推理服务的学习做准备。原创 2023-04-30 09:02:46 · 2951 阅读 · 0 评论 -
人工智能讲义【大杂烩】(持续更新)
前言:本文主要面向但不限于非人工智能的专业从业者,只是希望在聊到AI的时候能吹上两句的。可聊话题包括但不限于“AI技术的发展现状”,“AI技术有哪些分类”,“神经网络是什么”等等等人工智能发展现状人工智能的现状是:强人工智能很弱、弱人工智能很强。弱人工智能已经强大到可以替代许多的岗位。人类目前最先进的强人工智能,也远远比不上一个三岁孩子的智力。强人工智能:指能制造出真正地推理和解决问题的智能机器。比如日本动漫里的“阿童木”、钢铁侠的AI管家“贾维斯”就可以说是一个强人工智能。 弱人工智原创 2022-04-20 16:29:11 · 1430 阅读 · 0 评论 -
TensorFlow的分布式训练和K8S
原文地址:炼丹师的工程修养之四: TensorFlow的分布式训练和K8S - 知乎1、分布式训练的基本原理无论是TensorFlow还是其他的几种机器学习框架,分布式训练的基本原理是相同的。大致可以从以下五个不同的角度来分类。并行模式 架构模式 同步范式 物理架构 通信技术1.1 并行模式通俗的讲,分布式计算就是通过分布式的多台机器,把原来的巨大的,复杂的问题拆成多个小的、简单的问题来解决。对于机器学习的训练任务,原来的“大”问题主要表现在两个方面。一是模型太大,我们需要把模..转载 2022-04-14 16:26:57 · 2124 阅读 · 0 评论 -
深度学习框架对应的CUDA版本
前言CUDA (Compute Unified Device Architecture),是NVIDIA发布的一个通用并行计算平台和编程模型。基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决计算量大的难题。近年来,GPU最成功的一个应用就是深度学习领域,基于GPU的并行计算已经成为训练深度学习模型的标配。各个深度学习框架基本也都是CUDA实现对GPU的调用及操作。截至本文发文,最新的CUDA版本为CUDA11.6。本文主要记录,不同的深度学习框架使用CUDA需要注意的版本等问题。注原创 2022-04-13 10:42:40 · 4491 阅读 · 0 评论 -
特征平台(Feature Store)概述【未完待续】
参考网址:特征平台(Feature Store):序论 - 知乎特征平台(Feature Store):Feast - 知乎背景AI 算法模型开发落地可以分为三个阶段:数据准备、模型训练、模型部署。市面上已经有较多通用平台支撑模型训练与部署阶段,但自2019年后才陆续有各厂商推出特征平台支撑数据准备阶段。比如 Feast(以下内容主要以Feast为例讲解)特征平台的能力各家的特征平台的具体实现不同,但一般以下几个功能:特征创建 特征注册中心 特征离线存储&消.原创 2022-04-08 15:31:47 · 1636 阅读 · 0 评论 -
Kubeflow机器学习工具包-概述
参考网址:Kubeflow-K8S的机器学习工具包,太牛了! - 知乎什么是KuberflowKubeflow是Kubenetes的机器学习工具包。Kubeflow是运行在k8s之上的一套技术栈,这套技术栈包含了很多组件,组件之间的关系比较松散,我们可以配合起来用,也可以单独用其中的一部分。下图为Kuberflow官网上所展示的架构图:当我们开发和部署ML系统时,ML工作流程通常包括几个阶段。开发ML系统是一个反复的过程。我们需要评估ML工作流各个阶段的输出,并在必要时对模型和参数进行更转载 2022-03-14 13:20:21 · 970 阅读 · 0 评论 -
深度学习推荐系统学习——传统推荐模型
参考书籍:深度学习推荐系统(博文视点出品)传统推荐模型的特点总结 模型名称 基本原理 特点 局限性 协同过滤 根据用户的行为历史生成用户-物品共现矩阵,利用用户相似性和物品相似性进行推荐 原理简单、直接,应用广泛 泛化能力差,处理稀疏矩阵的能力差,推荐结果的头部效应明显 矩阵分解 将协同过滤算法中的共现矩阵分解为用户矩阵和物品矩阵,利用用户隐向量和物品隐向量的内积进行排序并推荐 相较协同过滤,泛华能力有所加强,对稀疏矩阵的处理能力有所加强原创 2021-12-02 21:10:09 · 239 阅读 · 0 评论 -
基于ElasticSearch+文本相似度模型的检索式智能对话方案
背景:在对话系统领域,检索式对话系统一直是工业界的偏爱。笔者曾经单纯基于ElasticSearch的相似度匹配进行过实现(详见:基于ElasticSearch的检索式智能问答方案_chenxy02的博客-CSDN博客 )。后面又引入深度学习模型——“文本相似度识别”提升了系统的意图匹配机制,于是便有了这篇博客。为什么只用ES相似度匹配不行ES(ElasticSearch)所提供的相似度机制本质上是一种基于词频、基于规则的相似度计算(详见:ElasticSearch相似度匹配及分词器选择_chen..原创 2021-10-29 21:53:42 · 3684 阅读 · 0 评论 -
人工智能讲义(深度学习常用模型评估指标)
原文地址:https://www.cnblogs.com/skyfsm/p/8467613.html“没有测量,就没有科学。” 这是科学家门捷列夫的名言。在计算机科学中,特别是在机器学习的领域,对模型的测量和评估同样至关重要。只有选择与问题相匹配的评估方法,我们才能够快速的发现在模型选择和训练过程中的可能出现的问题,迭代地对模型进行优化。本文将总结机器学习最常见的模型评估指标,其中包括:precision recall F1-score PRC ROC和AUC IOU从混淆矩阵谈起看转载 2020-11-27 14:39:34 · 1088 阅读 · 0 评论 -
人工智能讲义(工具篇)
基础设施-芯片(ASIC:Application Specific Integrated Circuit,专用集成电路)当前GPU占据大部分的AI训练市场,CPU占据了大部分的AI推理市场。基础设施-芯片-CPU vs GPU从架构上看,GPU采用了数量众多的计算单元,但只有非常简单的控制逻辑并省去了Cache。而CPU不仅被Cache占据 了大量空间,而且还有复杂的控制逻辑和诸多优化电路,相比之下计算能力只是CPU很小的一部分。CPU是通用处理 器, 擅长处理复杂指令、逻辑判断..原创 2020-10-28 17:33:10 · 419 阅读 · 0 评论 -
人工智能讲义(基本概念讲解)
什么是人工智能目前业界对人工智能虽无统一定义,但对 “基于学习、认知构成的对人的替代”取得高度共识什么是机器学习机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义 上来说,机器学习是一种通过利用数据,训练出模型,然后使用模型预测的一种方法。机器学习一直以来 都是人工智能的研究核心领域。 机器学习:问题类型常见机器学习解决的问题类型有分类和回归,此外还有“聚类”、“异常检测”、“强化学习”等机器学习:训练和推理简单理...原创 2020-10-23 17:32:07 · 1675 阅读 · 0 评论 -
为什么是神经网络&深度学习
背景:很多人都知道神经网络、深度学习是上世纪就有的技术,为什么最近这些年才成为“爆款”?本文就这个话题来掰扯掰扯,记录记录一些大佬的对此的见解。Scale drives deep learning progress“Scaledrives deep learning progress”,这是吴恩达的深度学习课程中的一个标题。这里“规模”(scale)一方面指的是神经网络的规模,能构建更多隐藏单元更多连接的神经网络,这一方面很明显依赖于计算机算力尤其GPU技术的大幅度提升。另一方面还有数据“规模”(.原创 2020-08-06 14:57:46 · 795 阅读 · 0 评论 -
Python数据预处理--数据归一化
背景:现实的数据采集中,由于对不同的特征值采用不同的单位,会导致不同特征值的取值范围会有很多的差距。比如房价以“元”为单位,取值范围可能是1万到10万之间;食物支出占比的取值范围可能是0到1之间。这一问题会严重影响许多模型的创建,针对此我们一般会采用“归一化”对不均衡的数据进行预处理。归一化的意义使数据类型一致且均匀 提高模型精度 加快梯度下降求最优解的速度 概率模型可以不做归...原创 2020-03-25 13:55:28 · 2456 阅读 · 0 评论 -
Python数据预处理--文本特征提取(以Jieba工具包为例)
需求场景:基于分词技术,实现对文本数据中命名实体(如人名、地名等)的提取,或者自动计算文本中的TF(词频)和TF-IDF(词频-逆向文件频率)。主流工具包:目前业界主流的分词工具包有“jieba”和“HanLP”等好几种。其中jieba是目前Python社区中最广泛使用的,HanLP作为Java开发的工具包,使用Python调用时需要先加载jpype模块。本文主要介绍Jieba工具,...原创 2020-03-03 15:57:41 · 4032 阅读 · 0 评论 -
基于ElasticSearch的检索式智能问答方案
思路:在ElasticSearch数据库中以“问题-回答”对的方式构建知识库,对用户输入的问题进行预处理后,在ES中检索相应的答案,返回答案。方案:具体过程讲解:1、敏感词汇过滤:非必要功能,只是为了防止用户输入政治错误或者黄赌毒相关词汇。与敏感词汇库进行比对即可完成。2、判断问题是否能匹配到相应的实体模板在实际生活中,我们对同一个实体会有许多不同的...原创 2019-12-12 21:20:43 · 2859 阅读 · 0 评论 -
数据科学/机器学习的工作流程
摘要:理解数据科学的工作流程,有助于我们合理有序地把控相关项目的开展。常见的整个过程包括:获取,检查和探索,清理和准备,建模,评估和最后的部署。1数据获取机器学习应用中的数据,可以来自不同的数据源,它可能是通过电子邮件发送CSV文件,也可能是从服务器中拉取的日志,或者它可能需要构建自己的Web爬虫。数据可能存在不同的格式,在大多数情况下,它是基于文本的数据……访问数据常见的方式...原创 2019-02-28 10:57:59 · 516 阅读 · 0 评论 -
人工智能分类体系
前言: 刚上大学的时候,每每学习一个新的课程,总觉得学习“概论”、“分类”这种东西很无聊。后来发现,学习具体的实现细节才是最无聊的……因为永远 记 不 住。 所以 开始告诉自己建立系统的知识框架才是重要的:强人工智能 & 弱人工智能:>> 强人工智能:指能制造出真正地推理和解决问题的智能机器。比如日本动漫里的“阿童木”、钢铁侠的AI管家“贾维斯”就可以说是一个强人...原创 2018-10-12 11:36:02 · 4527 阅读 · 0 评论 -
Anconada、Tensorflow介绍及安装
Anaconda简介Anaconda是Python的一个开源发行版本,主要面向科学计算。预装了很多第三方库,而且Anaconda中增加了conda install命令,安装新package格外方便,还自带Spyder IDE 、Jupyter Notebook和Anaconda Navigator(可查看已配置的环境和安装的包)下载从官网下载:https://www.anaconda....原创 2018-08-12 14:31:02 · 5331 阅读 · 0 评论 -
算法——SVM支持向量机(入门)
原文链接:https://blog.csdn.net/v_july_v/article/details/7624837支持向量机,因其英文名为support vector machine,故一般简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。1、分类标准的起源:Logistic回归...转载 2018-07-17 09:47:35 · 467 阅读 · 0 评论