2023 AI
文章平均质量分 90
ZhangJiQun&MXP
远离消耗你的人,在你的喜欢的能量场下才能加快脚步。
变化是在平常不过的事情,但选择不变,才是人的能力。
展开
-
梯度下降法(SGD)原理
BGD:相对噪声低些,幅度也大一些,你可以继续找最小值。SGD:大部分时候你向着全局最小值靠近,有时候你会远离最小值,因为那个样本恰好给你指的方向不对,因此SGD是有很多噪声的,平均来看,它最终会靠近最小值,不过有时候也会方向错误,因为SGD永远不会收敛,而是会一直在最小值附近波动。一次性只处理了一个训练样本,这样效率过于低下。mini-batch:实践中最好选择不大不小的 mini-batch,得到了大量向量化,效率高,收敛快。原创 2023-09-27 19:27:14 · 254 阅读 · 0 评论 -
paddle2.3-基于联邦学习实现FedAVg算法-CNN
联邦学习是一种分布式机器学习方法,中心节点为server(服务器),各分支节点为本地的client(设备)。联邦学习的模式是在各分支节点分别利用本地数据训练模型,再将训练好的模型汇合到中心节点,获得一个更好的全局模型。联邦学习的提出是为了充分利用用户的数据特征训练效果更佳的模型,同时,为了保证隐私,联邦学习在训练过程中,server和clients之间通信的是模型的参数(或梯度、参数更新量),本地的数据不会上传到服务器。本项目主要是升级1.8版本的联邦学习fedavg算法至2.3版本,内容取材于。原创 2023-09-26 22:39:35 · 1242 阅读 · 0 评论 -
联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10
分享一种实现联邦学习的方法,它具有以下优点:不需要读写文件来保存、切换Client模型不需要在每次epoch重新初始化Client变量内存占用尽可能小(参数量仅翻一倍,即Client端+Server端)切换Client只增加了一些赋值操作Python 3.7tqdm(一个Python模块)接下来本文会分成Client端、Server端代码设计与实现进行讲解。原创 2023-09-26 22:32:21 · 585 阅读 · 0 评论 -
Tensorflow Federated Framework 谷歌联邦学习框架
因此,编写TFF代码时会遇到非常多“反Python逻辑”的要求,例如:要求提供函数的输入参数的类型、要求使用它规定的几种数据类型、要求确定value的存放位置(S端/C端),原生Python逻辑不会在训练时执行等等。如果我们编写的一些函数使用到了不同端的数据,在真正执行的时候,一个函数甚至会被拆分到不同的机器上执行。在编写模型、训练代码的时候,clients和server应当是看作一个整体(也就是“联邦”的含义),不需要分割开S端和C端的代码,完全可以写入同一个文件里,C端和S端的区分是在代码逻辑层面的。原创 2023-09-26 22:15:47 · 879 阅读 · 0 评论 -
联邦学习 (FL) 中常见的3种模型聚合方法的 Tensorflow 示例
联合学习 (FL) 是一种出色的 ML 方法,它使多个设备(例如物联网 (IoT) 设备)或计算机能够在模型训练完成时进行协作,而无需共享它们的数据。“客户端”是 FL 中使用的计算机和设备,它们可以彼此完全分离并且拥有各自不同的数据,这些数据可以应用同不隐私策略,并由不同的组织拥有,并且彼此不能相互访问。使用 FL,模型可以在没有数据的情况下从更广泛的数据源中学习。FL 的广泛使用的领域如下:卫生保健物联网 (IoT)移动设备。原创 2023-09-26 19:32:19 · 429 阅读 · 0 评论 -
什么是智能推荐?智能推荐的原理是什么?
2020年的愚人节晚间,罗永浩在抖音带货,相信你也被刷屏了吧。3小时的直播过程中,22款产品轮番出场,最终首播支付交易总额突破1.1亿、整场直播观看总人数超过4800万、总销售件数逾91万,粉丝打赏音浪收入3600万,由此看来,罗老师看起来离“带货一哥”的目标又进了一步。不得不说,这场魔幻版的流量狂潮,是他和成就他的直播首秀的除了他自己,更重要的是日活跃用户超过四亿的抖音平台的双赢抖音平台。我们的时间都去哪了?所谓“,人间两小时”,抖音软件的火爆便是依托于它强大的智能推荐系统。原创 2023-09-20 16:29:25 · 1019 阅读 · 0 评论 -
K-Means(K 均值),聚类均值漂移聚类,基于密度的聚类方法,DBSCAN 聚类,K-Means 的两个失败案例,使用 GMMs 的 EM 聚类,凝聚层次聚类
本文将从简单高效的 K 均值聚类开始,依次介绍均值漂移聚类、基于密度的聚类、利用高斯混合和最大期望方法聚类、层次聚类和适用于结构化数据的图团体检测。我们不仅会分析基本的实现概念,同时还会给出每种算法的优缺点以明确实际的应用场景。聚类是一种包括数据点分组的机器学习技术。给定一组数据点,我们可以用聚类算法将每个数据点分到特定的组中。理论上,属于同一组的数据点应该有相似的属性和/或特征,而属于不同组的数据点应该有非常不同的属性和/或特征。聚类是一种无监督学习的方法,是一种在许多领域常用的统计数据分析技术。原创 2023-09-19 18:15:25 · 469 阅读 · 0 评论 -
多维数据可视化技术,Radviz可视化原理,向量化的 Radviz(vectorized Radviz,简称 VRV)
多维数据可视化技术多维和高维数据普遍存在于我们的日常生活和科学研究中比如手机就包括品牌、型号、尺寸、重量、 生产日期、屏幕尺寸和电池容量等几十个属性;又如生物医学领域中的基因表达数据经常会产生成百上千个 属性.鉴于人类对于数据的理解集中在2D或3D的低维空间因此采用信息可视化技术将多维数据绘制到低维 屏幕空间是实现人与多维数据交互分析的一种解决思路. 多维和高维数据的可视化一直以来都是一个热门的研究领域.以主成分分析。原创 2023-09-19 18:08:50 · 1574 阅读 · 0 评论 -
paddle 1-高级
飞桨以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体,为用户提供了多样化的配套服务产品,助力深度学习技术的应用落地。读者可以参考“PaddleHub->各领域的开发套件->模型库”的顺序寻找需要的模型资源,在此基础上根据业务需求进行优化,即可达到事半功倍的效果。:包含了各领域丰富的开源模型代码,不仅可以直接运行模型,还可以根据应用场景的需要修改原始模型代码,得到全新的模型实现。与模型的科研和教学不同,工业应用中的模型是需要。原创 2023-08-29 19:33:24 · 1035 阅读 · 0 评论 -
自然语言处理2-NLP
目录自然语言处理2-NLP如何把词转换为向量如何让向量具有语义信息在CBOW中在Skip-gram中skip-gram比CBOW效果更好CBOW和Skip-gram的算法实现Skip-gram的理想实现Skip-gram的实际实现原创 2023-08-28 22:36:51 · 1842 阅读 · 1 评论 -
自然语言处理-NLP
自然语言处理-NLP致命密码:一场关于语言的较量自然语言处理的发展历程兴起时期符号主义时期连接主义时期深度学习时期自然语言处理技术面临的挑战语言学角度同义词问题情感倾向问题歧义性问题对话/篇章等长文本处理问题探索自然语言理解的本质问题计算角度自然语言处理的常见任务使用深度学习解决自然语言处理任务的套路使用飞桨探索自然语言处理原创 2023-08-28 22:27:06 · 1789 阅读 · 0 评论 -
计算机视觉-YOYO-
还有更为重要的一点是,由于锚框位置是固定的,它不大可能刚好跟物体边界框重合,所以需要在锚框的基础上进行微调以形成能准确描述物体位置的预测框,模型需要预测出微调的幅度。要完成一项检测任务,我们通常希望模型能够根据输入的图片,输出一些预测的边界框,以及边界框中所包含的物体的类别或者说属于某个类别的概率,例如这种格式: [L,P,x1,y1,x2,y2][L, P, x_1, y_1, x_2, y_2][L,P,x1,y1,x2,y2],其中LLL是类别标签,PPP是物体属于该类别的概率。原创 2023-08-28 22:20:21 · 679 阅读 · 0 评论 -
计算机视觉-LeNet
经过第三层卷积(out_channels=120, kernel_size=4)之后,得到形状为[Bx120x1x1]的特征图,在FC层计算之前,将输入特征从卷积得到的四维特征reshape到格式为[B, 120x1x1]的特征,这也是LeNet中第一层全连接层输入shape为120的原因。第一个全连接层的输出神经元的个数是64,第二个全连接层的输出神经元个数是分类标签的类别数,对于手写数字识别的类别数是10。下面的程序使用随机数作为输入,查看经过LeNet-5的每一层作用之后,输出数据的形状。原创 2023-08-28 22:12:46 · 747 阅读 · 0 评论 -
计算机视觉-卷积神经网络
计算机视觉的发展历程卷积神经网络卷积(Convolution)卷积计算感受野(Receptive Field)步幅(stride)感受野(Receptive Field)多输入通道、多输出通道和批量操作卷积算子应用举例原创 2023-08-28 22:10:41 · 749 阅读 · 0 评论 -
主流深度学习框架及神经网络模型汇总
用大白话说就是是一个中间件,比如你PyTorch的模型想转换别的,就得通过ONNX,现在有的框架可以直接转,但是在没有专门支持的时候,ONNX就非常重要了,万物先转ONNX,ONNX再转万物。NCNN的速度是超过TFLite的,但是有点麻烦的是之前得经常自己用C去复现一些算子(框架起步都这样),现在因为使用的人数很多,因此算子很多。同样的设备,MNN的部署速度是非常快的,树莓派3B上cpu的加速是NCNN速度的3被以上,而且文档非常的全,代码整洁清晰,非常适合开发者使用。对下图左,标注为人,羊,狗,草地。原创 2023-08-27 22:25:28 · 8917 阅读 · 0 评论 -
如何选择合适的损失函数
如何选择合适的损失函数1、均方误差,二次损失,L2损失(Mean Square Error, Quadratic Loss, L2 Loss)2、平均绝对误差,L1损失(Mean Absolute Error, L1 Loss)3、MSE vs MAE (L2损失 vs L1损失)如果离群点是会影响业务、而且是应该被检测到的异常值,那么我们应该使用MSE。L2如果我们认为离群点仅仅代表数据损坏,那么我们应该选择MAE作为损失。L13、Huber Loss,平滑的平均绝对误差为原创 2023-08-27 22:23:19 · 908 阅读 · 0 评论 -
手写数字识别之优化算法:观察Loss下降的情况判断合理的学习率
我们明确了分类任务的损失函数(优化目标)的相关概念和实现方法,本节我们依旧横向展开"横纵式"教学法,如图1所示,本节主要探讨在手写数字识别任务中,使得损失达到最小的参数取值的实现方法。图1:“横纵式”教学法 — 优化算法。原创 2023-08-27 22:13:57 · 602 阅读 · 0 评论 -
手写数字识别之损失函数
交叉熵的简单理解:真实分布与非真实分布的交叉,完全对应,熵为0原创 2023-08-27 22:10:22 · 720 阅读 · 0 评论 -
交叉熵的简单理解:真实分布与非真实分布的交叉,完全对应,熵为0
在二分类问题中, 标签 y 是 1 的似然是对于标签 y 的预测 y^, 同样的, 标签是 0 的似然是 1y^. 我们需要最大化似然函数, 而且, 由于二分类问题的特殊性, 根据伯努力分布(Bernoulli distribution),可以把似然函数写成。1/8 的概率, 硬币是橘色, 需要两个问题, 1/2 的概率是蓝色, 仍然需要两个问题, 也就是说,认为小球的分布为(1/4,1/4,1/4,1/4),这个分布就是。假设有一个完美的算法, 直接预测出了 1,1,0, 那么交叉熵的结果就是 0.原创 2023-08-27 22:09:48 · 374 阅读 · 0 评论 -
手写数字识别之网络结构
假设第一层的变换是z1=x1−x2z_1=x_1-x_2z1=x1−x2和z2=x3+x4z_2=x_3+x_4z2=x3+x4,第二层的变换是y=z1+z2y=z_1+z_2y=z1+z2,则将两层的变换展开后得到y=x1−x2+x3+x4y=x_1-x_2+x_3+x_4y=x1−x2+x3+x4。在该任务中,中间的两个隐含层为10×10的结构,通常隐含层会比输入层的尺寸小,以便对关键信息做抽象,激活函数使用常见的Sigmoid函数。如果是分类问题,则是分类标签的数量。原创 2023-08-27 21:40:51 · 1467 阅读 · 3 评论 -
梯度下降算法简单理解:一阶泰勒展开式,梯度下降数学原理
梯度下降算法的公式非常简单,”沿着梯度的反方向(坡度最陡)“是我们日常经验得到的,其本质的原因到底是什么呢?为什么局部下降最快的方向就是梯度的负方向呢?也许很多朋友还不太清楚。没关系,接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。原创 2023-08-27 16:10:04 · 1350 阅读 · 0 评论 -
什么是算法?
解决问题的手段,并且是批量化解决问题的手段。菜谱就是一种“算法”,只要按照菜谱的方法做,就能做出对应的菜。人工智能里的算法主要是用来训练模型的。机器学习一共有7步,第3步就是选择合适的算法模型。通过训练得到最后的可预测模型。原创 2023-08-27 15:28:18 · 434 阅读 · 0 评论 -
什么是 TF-IDF 算法?
简单来说,。比如,一个比较常用的运算就是计算查询关键字所对应的向量和文档所对应的向量之间的 “简单解释TF-IDF意思就是说,我们计算一个查询关键字中某一个单词在目标文档中出现的次数。举例说来,如果我们要查询 “Car Insurance”,那么对于每一个文档,我们都计算“Car” 这个单词在其中出现了多少次,“Insurance”这个单词在其中出现了多少次。这个就是 TF 的计算方法。原创 2023-08-27 15:21:15 · 912 阅读 · 0 评论 -
特征工程 – Feature Engineering
我们先来看看特征工程在机器学习流程中的位置:从上图可以看出,特征工程处在原始数据和特征之间。他的任务就是将原始数据「翻译」成特征的过程。特征:是原始数据的数值表达方式,是机器学习算法模型可以直接使用的表达方式。特征工程是一个过程,这个过程将数据转换为能更好的表示业务逻辑的特征,从而提高机器学习的性能。这么说可能不太好理解。其实特征工程跟做饭很像:我们将食材购买回来,经过清洗、切菜,然后开始根据自己的喜好进行烹饪,做出美味的饭菜。上面的例子中:食材就好像原始数据。原创 2023-08-27 11:12:20 · 205 阅读 · 0 评论 -
数值类特征
数值类特征就是可以被实际测量的特征。人的身高、体重、三维商品的访问次数、加入购物车次数、最终销量登录用户中有多少新增用户、回访用户数值类的特征可以直接喂给算法,为什么还要处理?因为好的数值特征不仅能表示出数据隐藏的中的信息,而且还与模型的假设一致。通过合适的数值变换就可以带来很好的效果提升。例如线性回归、逻辑回归对于数值的大小很敏感,所以需要进行缩放。大小分布下面提到的4种处理方式都是围绕大小和分布来优化的。原创 2023-08-27 11:07:33 · 156 阅读 · 0 评论 -
分类模型评估指标——准确率、精准率、召回率、F1、ROC曲线、AUC曲线
机器学习模型需要有量化的评估指标来评估哪些模型的效果更好。本文将用通俗易懂的方式讲解分类问题的混淆矩阵和各种评估指标的计算公式。将要给大家介绍的评估指标有:准确率、精准率、召回率、F1、ROC曲线、AUC曲线。原创 2023-08-27 10:41:31 · 4052 阅读 · 0 评论 -
计算机视觉 – Computer Vision | CV
看懂图像里的内容。图片里的宠物是猫还是狗?图片里的人是老张还是老王?这张照片里,桌子上放了哪些物品?原创 2023-08-27 10:30:38 · 2625 阅读 · 1 评论 -
深度学习12:胶囊神经网络
因为最大池持续搜寻二维矩阵的区域,选取区域中最大的数字,所以满足了我们想要的活动不变性(即我们略微调整输入,输出仍然一样),换句话说,在输入图像上我们稍微变换一下我们想要检测的对象,模型仍然能够检测到对象。计算机图形学是基于几何数据内部的分层表示来构造可视图像,其结构考虑到了对象的相对位置,几何化的对象间的相对位置关系和朝向以矩阵表示,特定的软件接受这些表示作为输入并将它们转化为屏幕上的图像(渲染)。,并尝试匹配学习到的模式和存储在大脑中的关系,从而有了辨识,注意到,大脑中的物体表示并不依赖视角。原创 2023-08-27 10:19:22 · 1536 阅读 · 0 评论 -
深度学习10:Attention 机制
Attention 的3大优点Attention 的原理Attention 的 N 种类型Attention 的本质是什么Attention(注意力)机制如果浅层的理解,跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。原创 2023-08-26 22:29:59 · 1513 阅读 · 0 评论 -
深度学习11:Transformer
Transformer是一个完全基于注意力机制的编解码器模型,它抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构,而采用了自注意力(Self-attention)机制,在任务表现、并行能力和易于训练性方面都有大幅的提高。在 Transformer 出现之前,基于神经网络的机器翻译模型多数都采用了RNN的模型架构,它们依靠循环功能进行有序的序列操作。虽然 RNN 架构有较强的序列建模能力,但是存在训练速度慢,训练质量低等问题。RNN和。原创 2023-08-26 22:05:53 · 1797 阅读 · 0 评论 -
深度学习9:简单理解生成对抗网络原理
除了生成漂亮的图片之外,还开发了一种利用GAN进行半监督学习的方法,该方法涉及鉴别器产生指示输入标签的附加输出。例如,在MNIST上,通过完全连接的神经网络,每个类只有10个标记示例,实现了99.1%的准确度 – 这一结果非常接近使用所有60,000个标记示例的完全监督方法的最佳已知结果。GAN是一个很有前途的生成模型家族,因为与其他方法不同,它们可以生成非常干净和清晰的图像,并学习包含有关基础数据的有价值信息的权重。它是这样做的,希望它们也将被认为是真实的,即使它们是假的。界:图像,音乐,语音。原创 2023-08-26 21:55:56 · 1314 阅读 · 0 评论 -
深度学习8:详解生成对抗网络原理
生成性对抗网络属于一组生成模型。这意味着他们能够生成/生成(我们将看到如何)新内容。为了说明这种“生成模型”的概念,我们可以看一些用GAN获得的结果的众所周知的例子。这些是由Generative Adversarial Networks在对两个数据集进行训练后生成的样本:MNIST和TFD。对于两者,最右边的列包含与直接相邻生成的样本最接近的真实数据。这向我们展示了生成的数据是真正生成的,而不仅仅是由网络记忆。原创 2023-08-26 21:52:07 · 1236 阅读 · 0 评论 -
深度学习7:生成对抗网络 – Generative Adversarial Networks | GAN
生成对抗网络 GAN 的基本原理大白话版本非大白话版本第一阶段:固定「判别器D」,训练「生成器G」第二阶段:固定「生成器G」,训练「判别器D」循环阶段一和阶段二GAN的优缺点10大典型的GAN算法GAN 的13种实际应用原创 2023-08-26 22:31:01 · 1730 阅读 · 0 评论 -
深度学习6:自然语言处理-Natural language processing | NLP
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然原创 2023-08-26 21:33:51 · 1936 阅读 · 0 评论 -
深度学习5:长短期记忆网络 – Long short-term memory | LSTM
长短期记忆网络——通常被称为 LSTM,是一种特殊的RNN,能够学习长期依赖性。由 Hochreiter 和 Schmidhuber(1997)提出的,并且在接下来的工作中被许多人改进和推广。LSTM 在各种各样的问题上表现非常出色,现在被广泛使用。LSTM 被明确设计用来避免长期依赖性问题。长时间记住信息实际上是 LSTM 的默认行为,而不是需要努力学习的东西!所有递归神经网络都具有神经网络的链式重复模块。在标准的 RNN 中,这个重复模块具有非常简单的结构,例如只有单个 tanh 层。原创 2023-08-26 21:26:29 · 1927 阅读 · 0 评论 -
深度学习4. 循环神经网络 – Recurrent Neural Network | RNN
RNN的独特价值在于:它能有效的处理序列数据。比如:文章内容、语音音频、股票价格走势…之所以他能处理序列数据,是因为在序列中前面的输入也会影响到后面的输出,相当于有了“记忆功能”。但是 RNN 存在严重的短期记忆问题,长期的数据影响很小(哪怕他是重要的信息)。于是基于 RNN 出现了 LSTM 和 GRU 等变种算法。长期信息可以有效的保留挑选重要信息保留,不重要的信息会选择“遗忘”文本生成语音识别机器翻译生成图像描述视频标记。原创 2023-08-26 21:23:32 · 2070 阅读 · 0 评论 -
深度学习3. 强化学习-Reinforcement learning | RL
强化学习并不是某一种特定的算法,而是一类算法的统称。如果用来做对比的话,他跟监督学习,无监督学习 是类似的,是一种统称的学习方式。强化学习算法的思路非常简单,以游戏为例,如果在游戏中采取某种策略可以取得较高的得分,那么就进一步「强化」这种策略,以期继续取得较好的结果。这种策略与日常生活中的各种「绩效奖励」非常类似。我们平时也常常用这样的策略来提高自己的游戏水平。在 Flappy bird 这个游戏中,我们需要简单的点击操作来控制小鸟,躲过各种水管,飞的越远越好,因为飞的越远就能获得更高的积分奖励。原创 2023-08-26 20:49:40 · 1463 阅读 · 0 评论 -
深度学习2.神经网络、机器学习、人工智能
深度学习属于机器学习的范畴,深度学习可以说是在传统神经网络基础上的升级,约等于神经网络。深度学习和传统机器学习在数据预处理上都是类似的。核心差别在特征提取环节,深度学习由机器自己完成特征提取,不需要人工提取。学习能力强覆盖范围广,适应性好数据驱动,上限高可移植性好计算量大,便携性差硬件需求高模型设计复杂没有”人性”,容易存在偏见卷积神经网络 – CNN循环神经网络 – RNN生成对抗网络 – GANs深度强化学习 – RL。原创 2023-08-26 20:43:24 · 1891 阅读 · 0 评论 -
深度学习1.卷积神经网络-CNN
能够将大数据量的图片有效的降维成小数据量(并不影响结果)能够保留图片的特征,类似人类的视觉原理卷积层 – 主要作用是保留图片的特征池化层 – 主要作用是把数据降维,可以有效的避免过拟合全连接层 – 根据不同任务输出我们想要的结果图片分类、检索目标定位检测目标分割人脸识别骨骼识别。原创 2023-08-26 20:31:33 · 1902 阅读 · 0 评论 -
python 面试题--3(15题)
Python中的生成器是什么?如何创建一个生成器?解释Python中的递归函数及其使用场景。Python中的迭代器和可迭代对象有什么区别?什么是Python中的模块和包?它们有什么区别?如何在Python中处理异常?解释try-except-else-finally块的工作原理。python中生成器的惰性机制继承与装饰器区别适配器模式和装饰器模式区别类中的“self”指的是什么?列表和数组有什么区别?举出几个可变和不可变对象的例子?什么是pickling?字原创 2023-08-26 20:08:35 · 326 阅读 · 0 评论