- 博客(167)
- 资源 (2)
- 收藏
- 关注
原创 Nginx源码分析(25篇)
Nginx源码分析 - 初探Nginx的架构 Nginx源码分析 - 基础数据结构篇 - 内存池 ngx_palloc.c Nginx源码分析 - 基础数据结构篇 - 数组结构 ngx_array.c Nginx源码分析 - 基础数据结构篇 - 缓冲区结构 ngx_buf.c Nginx源码分析 - 基础数据结构篇 - 双向链表结构 ngx_queue.c Nginx源码分析 ......
2018-09-19 19:36:17 83584
转载 随机森林算法及其实现(Random Forest)
阅读目录1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率(oob error) 6 随机森林工作原理解释的一个简单例子 7 随机森林的Python实现 8 参考内容回到顶部1 什么是随机森林? 作为新兴起的、高度灵活的一种机器学习算法,随机森林(Random Forest,简称RF)拥有广泛的应用前景,从市场营销...
2018-09-04 16:36:06 373530 38
转载 Flink架构、原理与部署测试
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreement)是完全不相同的:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理...
2018-09-04 14:12:36 7857 1
转载 一文搞懂ONNX-Runtime综述&使用&源码分析(持续更新)
onnx-runtime可以加载onnx或者ort格式的模型--- onnx 模型,即原始的onnx模型,为protobuf格式存储--- ort模型,onnx-runtime将onnx模型经过图优化等保存下来的模型,采用flatbuffer,性能更好,体积更小整体而言,onnx-runtime为了支持多设备多平台,做了很多复杂的事情,整体的推理软件栈的思路还是一致的;flatbuffer也是替代protobuf的一种很好的方式。
2024-09-25 10:35:28 210
转载 [推理部署] ONNXRuntime C++/Java/Python 资料汇总
有段时间没更了,最近准备整理一下使用TNN、MNN、NCNN、ONNXRuntime的系列笔记,好记性不如烂笔头(记性也不好),方便自己以后踩坑的时候爬的利索点~( 看这 ,目前80多C++推理例子,能编个lib来用,感兴趣的同学可以看看,就不多介绍了)开源项目描述GithubA lite C++ toolkit of awesome AI models.(一个开箱即用的C++ AI模型工具箱,emmm,平时学一些新算法的时候顺手捏的,目前包含80+流行的开源模型。
2024-09-13 19:43:53 258
原创 一文理解深度学习backbone、neck和head
深度学习模型通常由许多层组成,每个层都有自己的功能和任务。的各个部分可以帮助我们更好地理解模型的组成和功能,并且也有助于优化和调试模型。
2024-09-06 20:16:09 1449
转载 一文搞懂CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性
先介绍CUDA是什么:官方定义:CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA™架构编写程序,所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。CUDA。
2024-08-22 15:00:08 832
转载 推理底层框架选型(ONNX/NCNN/OpenVINO/TensorRT)
OpenVINO在模型部署前,首先会对模型进行优化,模型优化器会对模型的拓扑结构进行优化,去掉不需要的层,对相同的运算进行融合、合并以加快运算效率,减少内存拷贝;推理引擎对不同的硬件提供统一的接口,底层实现直接调用硬件指令集的加速库,应用程序开发人员不需要关心底层的硬件实现,即可在不同的硬件平台上加速模型推理。目前,ONNX主要关注在模型预测方面(inferring),将转换后的ONNX模型,转换成我们需要使用不同框架部署的类型,可以很容易的部署在兼容ONNX的运行环境中。这篇文章带你进入模型部署的大门。
2024-08-20 16:54:02 180
原创 【课程系列10】某乎AI大模型全栈工程师-第5期
就是你有什么需求,就训练这个需求的大模型,来帮你工作提效,实现AI自动办公。✅也可以转型大模型行业:模型训练岗、大模型算法岗、指令工程师、大模型数据分析师、大模型产品经理模型微调岗等...👉成为超级个体,独立创业或承包项目,副业兼职,几千到几万的收入不等。👉成为公司最懂大模型的人,提升在组织中的生态位 成为组织核心人物。【三四线城市】大模型相关岗位薪资区间——15K——25K。【一线城市】大模型相关岗位薪资区间——40K——70K。【二线城市】大模型相关岗位薪资区间——25K——40K。
2024-07-31 19:38:56 694
原创 【课程系列09】某乎AI大模型全栈工程师-第3期
🌟3、大模型落地项目投资💰孵化机会,根据咱们以往工作经验、市场理解,做特有场景项目,专家指导咱们做项目计划书,并且实操落地私人部署项目,获得智谱AI等官方领衔项目投资、孵化(独立创业)🌟2、大厂大模型项目实操经验,实操中国大厂大模型落地项目,具备最前沿实战项目经验,可以上传github作为自己真实项目经验(用来求职 工作)🌟4、超级个体能力,根据自己专业工作,横向卷同行,纵向卷上下游,前端、后端、数据分析、算法工程、设计、产品等个人掌握超级个体能力。--来自百度网盘超级会员v6的分享。
2024-07-31 19:34:35 325 2
原创 【课程系列07】某乎AI大模型全栈工程师-第7期
链接:https://pan.baidu.com/s/1QLkRW_DmIm1q9XvNiOGwtQ--来自百度网盘超级会员v6的分享。
2024-07-31 19:13:34 501
原创 【课程系列06】某乎AI大模型全栈工程师-第6期
链接:https://pan.baidu.com/s/1QLkRW_DmIm1q9XvNiOGwtQ--来自百度网盘超级会员v6的分享。
2024-07-31 19:08:25 617
转载 JWT/Token/Cookie/SSO/OAuth2,一文帮你理顺所有前后端鉴权方案
认证(Identification)是指根据声明者所特有的识别信息,确认声明者的身份。你需要用身份证证明你自己是你自己。比如我们常见的认证技术:身份证用户名和密码用户手机:手机短信、手机二维码扫描、手势密码用户的电子邮箱用户的生物学特征:指纹、语音、眼睛虹膜用户的大数据识别等等授权(Authorization):在信息安全领域是指资源所有者委派执行者,赋予执行者指定范围的资源操作权限,以便对资源的相关操作。
2024-07-09 15:32:44 84
原创 快速掌握AI的最佳途径实践
普通人想要快速掌握AI,需要从基础知识做起,通过实战项目增强实际操作能力,利用网络资源和社区进行自我提升,并选择合适的学习路径进行系统性的学习。同时,持续更新自己的知识库,以跟上AI技术的发展步伐,是确保长期进步的关键。AI的普及和应用已经深入到各行各业,从医疗到金融,再到娱乐和教育,AI正在改变我们的生活。AI是一个快速发展的领域,新的技术和理论不断涌现。参加AI领域的研讨会和工作坊,直接从专家那里获得最新的信息和见解。:通过关注AI领域的专栏和话题,获取最新的技术动态和经验分享。
2024-07-08 17:28:39 880
原创 k8s资源管理中request和limit的区别
的主要区别在于:request是容器启动时的资源保证,而limit是容器运行时的资源使用上限。通过合理设置这两个值,可以实现对容器资源的灵活配置和有效管理,确保集群的稳定性和高效性。是两个重要的概念,用于控制和管理容器的资源使用。在 Kubernetes(K8s)中,
2024-07-08 11:11:38 689 1
原创 降级/熔断/限流/隔离/重试/超时,一文帮你顺理高可用架构流量治理
那么可以对服务进行熔断降级,后面的请求不再重试,这段时间做降级处理,减少没必要的请求,等服务端恢复了之后再进行请求,这方面的工程实现很多,比如 go-zero 、 sentinel 、hystrix-go。对于人类的身体健康来说,“三高”是个大忌,但在计算机界,系统的“三高”却是健康的终极目标。服务的响应时间并不是恒定的,在某些长尾条件下可能需要更多的计算时间,为了有足够的时间等待这种长尾请求响应,我们需要把超时设置足够长,但超时设置太长又会增加风险,超时的准确设置经常困扰我们。
2024-07-06 22:18:09 653
原创 机器学习10大算法
【机器学习】十大算法之二 “K-means”【机器学习】十大算法之一 “朴素贝叶斯”【机器学习】十大算法之六 “随机森林”【机器学习】十大算法之七 “线性回归”【机器学习】十大算法之八 “逻辑回归”【机器学习】十大算法之十 “神经网络”【机器学习】十大算法之三 “KNN”【机器学习】十大算法之四 “SVM”【机器学习】十大算法之五 “决策树”【机器学习】十大算法之九 “PCA”
2024-07-04 19:51:15 269
转载 Triton实战教程(三):开发实践
本文将基于 PyTorch 后端使用 resnet50 模型来进行图片分类,因此,需预先下载 resnet50 模型,然后将其转换为torchscript格式。然后,拉取Pytorch官方镜像作为推理系统的客户端同时进行一些预处理操作(当然也可以直接拉取tritonserver客户端SDK镜像)。如果模型具有与每个分类索引关联的标签,Triton 也会返回这些标签,具体格式如下所示。ok,目前为止,前期的准备工作已经好了,下面进行具体的开发实践。接下来,进入推理系统客户端,发送推理请求。
2024-07-04 18:09:59 136
转载 Triton实战教程(二):架构解析
假设 Triton 当前没有处理任何请求,当两个请求同时到达时Triton服务,每个模型一个请求,Triton 立即将它们都调度到 GPU 上,GPU 的硬件调度程序开始并行处理这两个计算。在系统的 CPU 上执行的模型由 Triton 进行类似地处理,除了 CPU 线程执行每个模型的调度由系统的操作系统处理之外。用于对一个推理服务的生命周期的管理(模型的加载/卸载,模型服务实例的弹性扩缩容等)。对于给定的模型,调度策略的选择和配置是通过模型的配置文件完成的,后续的文章会进行深入讲解。
2024-07-04 18:08:14 183
转载 Triton实战教程(一):快速入门
Triton 的模型分析器是一个可自动评估 Triton 推理服务中的模型部署配置的工具,例如:目标处理器上的批量大小、精度和并发执行的实例。Triton不仅支持单模型部署,也支持多模型集成(ensemble),可以很好的支持多模型联合推理的场景,构建起视频、图片、语音、文本整个推理服务过程,大大降低多个模型服务的开发和维护成本。因此,模型部署是实际AI应用落地非常重要的环节,工程师辛苦训练出来的模型到落地部署应用有大量的工作,包括模型提取、模型压缩、模型加速以及模型服务化等等。
2024-07-04 18:05:43 378
原创 大模型课程资料-全网最火29套全栈大模型项目实践
29套AI全栈大模型项目实战,人工智能视频课程-多模态大模型,微调技术训练营,大模型多场景实战,AI图像处理,AI量化投资,OPenCV视觉处理,机器学习,Pytorch深度学习,推荐系统,自动驾驶,训练私有大模型,LLM大语言模型,大模型多场景实战,Agent智能应用,AIGC实战落地,ChatGPT虚拟数字人,Djourney智能绘画,ChatGPT仿简书项目,从设计到部署深度实践大模型应用开发落地全流程。1、29套精品是掌柜最近整理出的最新课程,都是当下最火的技术,最火的课程,也是全网课程的精品;
2024-06-26 16:57:45 413
原创 c++反射的实现
最直观的使用:通过类的名称、函数名称、变量名称来实现创建类、调用类函数、获取与修改类参数。思路:使用工厂类来创建对应的类,这个工厂使用 来保存每个类对应的创建函数。这个类创建工厂应该是全局唯一的,所以使用了单例模板可以看到 的返回值为 , 为所有需要使用c++反射的类的基类。之后每个需要通过反射创建的类,只需要继承 即可。同时,为了向 中注册每个类的信息,还需要一个注册宏来帮助每个类快捷的注册有了上面几个类之后,就可以快捷的创建可以用于反射创建的类执行测试程序执行结果为
2024-06-26 16:08:10 357
转载 C++字节流怎么转化为图片
将C++字节流转化为图片,可以使用第三方库OpenCV来实现。是存储字节流的文件名。请确保安装了OpenCV库,并将代码与。放在同一个文件夹下,然后编译运行代码即可显示图片。
2024-06-26 15:50:51 83
转载 使用C++和Crypto++库进行加密解密
继而,我们引入了AEScrypt类,它是Crypt的一个具体实现,专门负责AES加密和解密。这种模式不仅提升了代码的可维护性,还有效地隔离了接口变更对实现的影响,是现代C++设计中的一种常见而有效的实践。我们的讨论将重点放在构建一个强大的AES加密解密类结构上,同时充分利用Crypto++库的强大功能。AES>::Encryption和CryptoPP::CBC_ModeCryptoPP::AES::Decryption`的实例,代表AES的CBC(Cipher Block Chaining)模式。
2024-06-26 15:42:48 579
原创 大模型技术文章精选,github高星材料
一个涵盖图神经网络、大型语言模型(LLM)和凸优化等技术领域的文章集合。该项目提供了深入的技术讨论,涵盖了图神经网络的原理、大型语言模型的应用以及凸优化在相关领域中的重要性。这些文章旨在帮助读者深入了解和应用这些先进技术。OpenGithub社区:https://open.itc.cn/大模型技术文章精选:llm-course。
2024-06-19 23:15:03 120
原创 【课程系列05】某心科技AI大模型微调实战营-应用篇
课程内容涉及大模型的介绍、Transformer、Encoder、高级微调技术、Alpaca、AdaLoRA、QLoRA、Prefix Tuning和Quantization等主题。--来自百度网盘超级会员v6的分享。
2024-06-19 20:18:51 605 2
转载 16个顶级计算机视觉算法库
TorchVision是PyTorch库的一个扩展库,TorchVision拥有计算机视觉中最常见的图像转换功能,还包含计算机视觉神经网络的数据集和模型架构以及常见数据集。它包含数学库、并行算法库、图像和视频库、通信库和深度学习库,可用于各种任务,例如:人脸识别、图像处理、3D图形渲染等。Keras是一个基于Python的开源软件库,对初学者来说特别易用,它允许快速构建神经网络模型,是一个模块化的AI工具箱,计算机视觉工程师可以利用它来快速组装应用、训练模型。因此,对高质量计算机视觉库的需求也相应增加。
2024-06-19 20:10:15 591
原创 【课程系列04】某客时间AI大模型应用开发实战营
"AI大模型应用开发实战营"是一个为期八周的在线课程,旨在教授学员如何开发和应用AI大模型。
2024-06-18 17:47:40 415 2
原创 【课程系列03】某乎AI大模型全栈工程师课程
总结来说,AI大模型全栈工程师是具备全方位AI技术能力和丰富实践经验的工程师,能够从数据采集、模型训练到部署和运维等多个环节全面参与AI大模型的开发和应用工作。他们在推动AI技术发展和应用落地方面发挥着重要作用,并具备广阔的职业发展空间。AI大模型全栈工程师是指具备人工智能领域全方位能力的工程师,特别是在大模型开发和应用方面具有深厚的专业知识和技能。--来自百度网盘超级会员v6的分享。
2024-06-18 17:38:54 788 2
原创 【课程系列02】某乎AI大模型全栈工程师-第2期
课程内容从AI大模型的基础介绍开始,涵盖了大模型时代的必备技术如Prompt Engineering,到大模型开发的新范式,如Function Calling and Plugins,以及机器学习基础等,为学员提供了全面的大模型技术学习路径
2024-06-15 18:50:41 673 3
原创 【课程系列01】某乎AI大模型全栈工程师-第4期
总结来说,AI大模型全栈工程师是具备全方位AI技术能力和丰富实践经验的工程师,能够从数据采集、模型训练到部署和运维等多个环节全面参与AI大模型的开发和应用工作。他们在推动AI技术发展和应用落地方面发挥着重要作用,并具备广阔的职业发展空间。AI大模型全栈工程师是指具备人工智能领域全方位能力的工程师,特别是在大模型开发和应用方面具有深厚的专业知识和技能。--来自百度网盘超级会员v6的分享。
2024-06-15 18:24:21 762
原创 LLM大模型AI应用的三阶技术
设计提示(Prompt Design)结果优化(Response Optimization)交互设计(Interaction Design)模型理解(Model Understanding)
2024-06-07 20:09:28 190
原创 11本AI人工智能相关电子书推荐(带下载地址)
本书涵盖了元宇宙的诞生背景、元宇宙的科技支撑和经济逻辑、元宇宙与数字经济的互动关系,以及元宇宙未来的产业发展前景,例如元宇宙与教育产业、工业产业、机器人产业、时尚艺术产业的应用。《生命3.0》一书中,作者迈克斯·泰格马克对人类的终极未来进行了全方位的畅想,从我们能活到的近未来穿行至1万年乃至10 亿年及其以后,从可见的智能潜入不可见的意识,重新定义了“生命”“智能”“目标”“意识”,并澄清了常见的对人工智能的误解,将帮你构建起应对人工智能时代动态的全新思维框架,抓住人类与人工智能共生演化的焦点。
2024-06-07 19:08:20 2213
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人