自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

huanfeng_AI的博客

知识就要多分享

  • 博客(451)
  • 资源 (1)
  • 收藏
  • 关注

原创 微服务架构陷阱与挑战

现在微服务的基础设施还是越来越完善了,现在基础设施缺乏的问题逐渐被解决了。

2024-09-20 22:42:38 161

原创 每天五分钟计算机视觉:将人脸识别问题转换为二分类问题

把人脸验证当作一个监督学习,创建一个只有成对图片的训练集,不是三个一组,而是成对的图片,目标标签是 1 表示一对图片是一个人,目标标签是 0 表示图片中是不同的人。利用不同的成对图片,使用反向传播算法去训练神经网络,训练神经网络。

2024-09-20 22:41:40 34

原创 微服务架构详解

ESB就是一个一个微服务的功能。

2024-09-19 22:53:50 217

原创 每天五分钟深度学习框架pytorch:pytorch中已经定义好的损失函数

这里就是pytorch中已经封装好的方法,这里简单的介绍一下,之后我们会结合实际问题,对常用的损失函数进行详细的介绍。

2024-09-19 22:53:03 524

原创 微博计算架构实战

发微博是写操作,可以用与写缓冲(Buffer)么?最好是不要加,写缓冲会使得写入速度变慢,比如发送了微博10分钟后,别人还看不到,体验会很不好。微博评论可以用缓冲,影响不大。

2024-09-18 23:01:06 179

原创 每天五分钟玩转深度学习框架PyTorch:梯度下降之学习率衰减

我们前面学习了优化器optim,然后学习了为神经网络不同层设置不同的学习率,本节课程我们讲解学习率衰减的方法,也就是说如何在训练过程中动态的修改学习率,本文介绍两种方法。本文是学习第6步(优化器)

2024-09-18 22:58:25 536

原创 计算架构模式之接口高可用

接口高可用主要应对两类问题:雪崩效应和链式效应。雪崩:当请求量超过系统处理能力之后,会导致系统性能螺旋快速下降,本来系统可以处理1000条,但是当请求量超过1200的时候,此时性能会下降,然后处理速度越来越慢,系统表现越来越差,问题越来越严重。链式:一个故障会引起后续一连串的故障。防止链式效应就是出了故障之后不要让故障扩散,不要因为A系统出了故障,B系统也由于A系统出现故障导致出现故障,最后所有的系统全部都出现故障。接口高可用架构本质上是“丢车保帅”策略,业务或者用户体验会部分有损!

2024-09-15 22:26:48 307

原创 每天五分钟深度学习PyTorch:不同的神经网络层设置不同的学习率

我们前面学习了基本网络模型的搭建,获取网络模型的子结构,以及优化器optim,我们发现我们设置优化器的时候,是对整个模型设置的,也就是说整个模型的参数学习率是一样,本节课程我们学习如何给不同的网络层设置不同的学习率。主要还是通过优化器optim来实现的,本文学习第6步(优化器)

2024-09-15 22:25:48 839

原创 计算架构模式之负载均衡技巧

spanner是蚂蚁业务级别的负载均衡,有点像网关,比如按设备进行分区比较适合app。

2024-09-14 22:30:14 342

原创 每天五分钟玩转深度学习PyTorch:模型参数优化器torch.optim

在机器学习或者深度学习中,我们需要通过修改参数使得损失函数最小化(或最大化),优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim,我们可以使用它调用封装好的优化算法,然后传递给它神经网络模型参数,就可以对模型进行优化。本文是学习第6步(优化器),参考链接。

2024-09-14 22:29:07 583

原创 计算架构模式之负载均衡架构

负载均衡就是一个计算架构DNS:将请求分配到不同的机房。

2024-09-10 23:53:52 285

原创 每天五分钟玩转深度学习框架PyTorch:获取神经网络模型的参数

当我们定义好神经网络之后,这个网络是由多个网络层构成的,每层都有参数,我们如何才能获取到这些参数呢?我们将再下面介绍几个方法来获取神经网络的模型参数,此文我们是为了学习第6步(优化器)。

2024-09-10 23:52:43 341

原创 计算架构模式之分布式缓存架构

只有数据缓存是为了解决读写慢的问题,而结果缓存不是的。

2024-09-09 23:52:11 252

原创 每天五分钟玩转深度学习PyTorch:获取神经网络模型的子网络模型

本文主要为第二步(模型搭建)和第六步(优化器)服务,因为子网络是网络模型的一部分,我们如何获取自网络,需要了解网络的模型结构,然后再优化器部分我们需要获取指定网络模型部分的模型参数,所以本节课程很重要。

2024-09-09 23:51:40 507

原创 计算架构模式之多级缓存架构

一般读cache,写buffer。

2024-09-08 22:27:20 294

原创 每天五分钟玩转深度学习框架PyTorch:将nn的神经网络层连接起来

前面我们学习pytorch中已经封装好的神经网络层,有全连接层,激活层,卷积层等等,我们可以直接使用。如代码所示我们直接使用了两个nn.Linear(),这两个linear之间并没有组合在一起,所以forward的之后,分别调用了,在实际使用中我们常常将几个神经层组合在一起,这样不仅操作方便,而且代码清晰。这里介绍一下Sequential()和ModuleList(),它们可以将多个神经网络层组合在一起,这两个函数都是特殊的module,包含子module。

2024-09-08 22:26:36 681

原创 实战-千万学生管理系统存储架构设计

这里存储复杂度最高的地方:图片数据10T、试卷请求TPS:5w/s。

2024-09-04 23:22:56 287

原创 每天五分钟深度学习:广播机制(以python语言为例)

因为向量化的计算方式导致效率的提升,所以现在很多时候,我们都是用向量化的计算,但是向量化计算有一个问题让人头痛就是维度的问题,本节课程我们将讲解python中的广播机制,你会发现这个机制的优秀之处。

2024-09-04 23:20:19 303

原创 常见存储系统剖析

一般而言,技术本质,部署架构,数据模型都可以在文档中学习到。

2024-09-02 23:39:47 358

原创 每天五分钟玩转深度学习PyTorch:nn.Module中封装好的神经网络层

PyTorch实现了神经网络中绝大多数的layer,这些layer都继承于nn.Module,封装了可学习参数parameter,并实现了forward函数,且很多都专门针对GPU运算进行了CuDNN优化,其速度和性能都十分优异。本文介绍pytorch中已经封装好的神经网络层,我们可以直接通过nn.的方式来调用。本文主要学习第2步(模型搭建)。

2024-09-02 23:39:14 375

原创 如何设计存储架构

2B业务是很明确的2C业务需要估计出来。

2024-09-01 21:19:45 188

原创 每天五分钟计算机视觉:Siamese深度神经网络模型和FaceNet的关系

在前面的课程中,我们学习了Siamese深度神经网络模型和FaceNet,二者都可以完成人脸识别任务,本文进行整理学习,理清二者的区别和联系。

2024-09-01 21:17:57 410

原创 存储架构模式-分片架构和分区架构

分片架构就可以解决主从复制存在的问题,如果主机能够承担写的性能,那么主从就够了,如果不能,那么就需要分片架构了。

2024-08-31 23:25:47 355

原创 每天五分钟计算机视觉:人脸识别网络FaceNet

FaceNet是谷歌在CVPR 2015上提出的一种深度学习模型,旨在解决人脸识别、验证和聚类等问题。与传统的基于分类层的人脸识别方法不同,FaceNet通过直接将人脸图像编码为128维的数字矢量(嵌入特征),在欧几里德空间中进行高效的特征匹配。这种统一框架不仅提高了识别精度,还简化了整个识别流程。

2024-08-31 23:25:09 734

原创 存储架构模式之复制架构

故障:机器挂掉灾难:自然灾害多活:技术复杂度高、成本高。

2024-08-28 23:25:07 434

原创 每天五分钟深度学习框架pytorch:nn.Module和nn.function的区别

这里对nn.Module和nn.function进行了简单的总结,二者基本可以完成一件事情,但是个人认为大多数情况下最好还是使用nn.module。总之使用nn的时候要先创建类,而使用functional的时候直接调用方法就可以,后面我们会对这方面进行详细的介绍。

2024-08-28 23:22:47 426

原创 存储架构模式之数据库存储架构

读写分离解决了读的问题。读被分离出去了,写性能的提升还是会有的。数据库慢不需要直接上读写分离,先尝试优化索引,加入缓存等操作。

2024-08-25 12:59:55 277

原创 每天五分钟深度学习:从数学角度分析逻辑回归算法损失函数的来源

前面的课程中,我们只得到了逻辑回归算法模型的损失函数(如下所示),但是你是否知道它为什么是逻辑回归算法的损失函数?本文对其进行拆分,从0到1构建该损失函数,从数学角度分析为什么它是逻辑回归的损失函数.

2024-08-25 12:58:29 425

原创 每天五分钟深度学习框架pytorch:神经网络工具箱nn的介绍

return xlayer=MyLinear(4,3)#输入维度是4,输出维度是3如代码所示建立一个全连接层,w和b就是全连接层的权重参数,其中w的维度是(输出,输入)pytorch就是这样的。自定义层MyLinear必须继承nn.Module,并且我们需要在初始化方法中调用父类nn.Module的构造函数,也就是super(MyLinear,self).__init__()

2024-08-20 23:39:53 267

原创 每天五分钟深度学习框架pytorch:自动求导机制

深度学习框架pytorch拥有自动求导的机制,自动求导是 PyTorch 中非常重要的特性,能够让我们避免手动去计算非常复杂的导数,这能够极大地减少了我们构建模型的时间。本文学习的是第10步反向传播,学习路线参考前面一篇文章。

2024-08-19 23:11:20 240 1

原创 基于神经网络的深度学习:为何在数学上比传统机器学习更强大

二、神经网络的数学基础2.1 神经元模型与激活函数神经元模型:神经网络的基本单元是神经元,其数学表示为一个接收多个输入信号、通过加权求和及激活函数变换后输出结果的函数。 激活函数:引入非线性因素,使得神经网络能够表示复杂的非线性关系。常见的激活函数包括Sigmoid、Tanh、ReLU等,它们的选择对神经网络的性能有重要影响。2.2 网络结构与层次网络结构:多个神经元通过相互连接形成神经网络,常见的有前馈神经网络、循环神经网络等。 层次结构:多层前馈神经网络通过构建多层次的神经网络结构,能

2024-08-18 17:55:11 300

原创 每天五分钟计算机视觉:搭建人脸识别的Siamese深度神经网络模型

前面的一篇文章中介绍了关于一次学习的问题,解决一次学习问题的关键在于学习到一个函数d,这个d可以计算出两张图片中的人脸是不是同一个人。那么我们需要搭建什么样的神经网络才可以让模型学习出这样的函数d呢?本文我们介绍一下Siamese神经网络结构,它可以帮助我们解决这个问题。

2024-08-18 17:49:47 306

原创 构建完美人工智能工程师培养计划

鼓励学员从问题定义、数据收集、模型设计、实验验证到结果部署的全过程参与,培养解决实际问题的能力。:包括数据结构、算法设计、计算机组成原理、操作系统、数据库系统、计算机网络等,这些课程将帮助学员理解计算机系统的运作原理,为后续的AI技术学习奠定基础。:鉴于AI技术的广泛应用可能带来的伦理与法律问题,培养计划应纳入AI伦理、数据隐私保护、知识产权等相关课程,培养学员的责任感与法律意识。:引导学员树立终身学习的观念,关注AI领域的最新动态,积极参与学术交流、研讨会等活动,保持对新技术、新方法的敏感度。

2024-08-15 23:27:09 358

原创 每天五分钟计算机视觉:人脸识别如何解决一次学习的问题?

我们人类是具有快速从少量(单)样本中快速学习能力的,就比如说我们看到一张大熊猫的图片,那么以后再见到大熊猫之后,那么我们就知道这就是大熊猫。一次学习问题,顾名思义,是指系统仅通过一张图片或一个人脸样例就能识别出该人的身份。然而,传统的深度学习模型在只有一个训练样例的情况下,往往表现不佳。这是因为深度学习模型通常需要大量的训练数据来优化其参数,从而学习到有效的特征表示。简单来说,当我们的训练集中只有一个训练样例时,就是One-shot 学习,人脸识别所面临的一个挑战就是你需要解决一次学习问题。

2024-08-15 23:24:38 236

原创 神经网络:智能时代的基石

随后,随着计算机技术的飞速发展,神经网络的研究逐渐深入,从最初的简单感知器模型,发展到多层前馈神经网络、卷积神经网络(CNN)、循环神经网络(RNN)等复杂结构,其应用领域也日益广泛。通过循环神经网络(RNN)及其变体(如LSTM、GRU等),神经网络能够处理序列数据,捕捉文本中的语义信息和时序关系,实现对文本的分类、情感分析、机器翻译等任务。例如,在人脸识别、自动驾驶、医学影像分析等领域,CNN都发挥着重要作用。在神经网络中,信息的传递是单向的,从输入层开始,逐层向前传递到输出层,这一过程称为前向传播。

2024-08-10 23:51:58 1070 1

原创 每天五分钟深度学习pytorch:训练神经网络模型的基本步骤

以上代码就是完成神经网络训练的基本逻辑,我们可以认为分为12步,我们中实际编程需要我们做好这12步:1.引入我们程序所需要的库2.也就是说需要我们自己定义模型,pytorch中已经封装好了很多网络层,我们只需要根据我们的需求来对这些网络层进行组合就可以3.我们搭建完网络模型之后,我们需要对数据进行处理,让它能够输出到网络模型中(很重要的一块)4.实例化,这里很简单,如果构建模型的时候,有些网络层数没有写死而是以参数的形式确定,那么我们构建网络模型的时候,需要传递对应的参数。

2024-08-10 23:26:47 1183

原创 贝叶斯之光:照亮机器学习领域的算法瑰宝

贝叶斯算法起源于英国数学家托马斯·贝叶斯(Thomas Bayes)在18世纪提出的贝叶斯定理。该定理是概率论中的一个重要定理,描述了条件概率之间的关系。其基本形式可以表示为:其中,P(A∣B) 表示在给定事件B发生的条件下,事件A发生的概率,即后验概率;P(B∣A) 表示在给定事件A发生的条件下,事件B发生的概率,即条件概率;P(A) 和 P(B) 分别表示事件A和事件B独立发生的概率,即先验概率。

2024-08-04 22:53:21 609

原创 每天五分钟深度学习:向量化方式完成逻辑回归模型的参数更新

上一节课程中,我们学习了m个样本的前向传播的向量化,我们可以同时完成m个样本的前向传播,也就是m个样本z的计算,然后a的计算。本节课程我们将学习dw和db参数更新的向量化,最终得到整个逻辑回归算法的参数更新的向量化表示。

2024-08-04 22:42:38 656

原创 每天五分钟计算机视觉:一文搞懂人脸验证和人脸识别的区别

人脸识别(Face Recognition):人脸识别是指通过计算机视觉技术,将人脸图像与已知的人脸数据库进行比对,从而确定人脸的身份。人脸验证(Face Verification):人脸验证,又称人脸比对,是指通过比对两张人脸图像,判断它们是否属于同一个人。

2024-08-04 00:02:07 353

原创 揭秘线性代数秩的奥秘:从理论到机器学习的跨越

在线性代数中,秩是一个核心概念,用于描述矩阵或向量组的复杂性和独立性。具体而言,一个矩阵的秩定义为该矩阵中非零子式的最高阶数,而一个向量组的秩则是其最大无关组所含的向量个数。简而言之,秩衡量了矩阵或向量组中独立信息的多少。

2024-08-01 23:24:26 529

servlet-api.jar

这个是servlet的jar包,很多时候我们想要开发web资源的时候,经常会发现缺少这个jar包,还需要去tomcat中查找,比较麻烦。

2020-06-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除