![](https://img-blog.csdnimg.cn/20210728234248895.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据+AI 赋能行业,助力企业数字化转型最佳实践案例
文章平均质量分 93
AI 相关技术伴随着2006年 计算机算力的膨胀开始,蓬勃发展至今。从传统机器学习到深度学习再到大力出奇迹的预训练模型经历了一轮又一轮的热潮。现代公司制度已有近百年,更是在近年来积累了大量数据。每个企业都将不可避免的面对堆积如山的海量数据,处理并从海量数据中挖掘信息,进行信息化转型,迫在眉睫!
shiter
CSDN博客专家,人工智能与大数据领域优秀创作者,累计近500W人次访问。 熟悉自然语言处理(NLP)、大数据(Spark 、Elasticsearch)、数据分析(Scala,Python),计算机视觉(OpenCV、立体匹配)等领域的研发工作。世界500强,高级算法工程师, 曾参与并负责国家级大数据项目,负责大健康平台相关开发与管理工作,负责金融行业AI与大数据平台产品设计、开发与落地。编程不仅仅是技术,还是艺术!talk is cheap,show me the code!
展开
-
《大数据+AI 赋能行业,助力企业数字化转型经典落地案例浅析》 ---- 总目录
文章大纲金融行业 落地实践浅析大健康行业 落地实践浅析传统行业深度融合升级参考文献AI 相关技术伴随着2006年 计算机算力的膨胀开始,蓬勃发展至今。从传统机器学习到深度学习再到大力出奇迹的BERT , GPT 经历了一轮又一轮的热潮。现代公司制度已有近百年,更是在近年来积累了大量数据。每个企业都将不可避免的面对堆积如山的海量数据,如何处理并从海量数据中挖掘信息,进行信息化转型,提升企业战斗力,是含金量极高的一门技艺。大数据技术为AI 技术提供了大量弹药,从上帝视角出发解读世界。本专栏,带你从上帝原创 2021-07-29 00:27:40 · 947 阅读 · 1 评论 -
人工智能与医疗 总览
在1956年的达特茅斯会议上,人工智能的概念第一次被真正提出来,其作为信息技术的一种,早在40多年前就已经实验性地参与到医疗行为中。1972年,利兹大学研发了医疗领域最早出现的人工智能系统,此系统主要用于腹部剧痛的辅助诊断及手术的相关需求。人工智能作为一种技术,对生产工具进行了升级。人们可以通过人工智能快速地对行业数据和过往知识进行汇总和梳理,从而辅助人们做决策。原创 2021-04-03 14:53:33 · 1757 阅读 · 0 评论 -
《大数据+AI在大健康领域中最佳实践前瞻 》---- 总目录
文章大纲简介简介健康是人类永恒的主题也是社会进步的重要标志,健康已成为新世纪人们生活的基本目标。大健康产业具有巨大的市场潜力,未来在我国经济结构向服务业转型过程中,大健康产业将成为我国国民经济支柱型产业......原创 2021-03-14 00:04:26 · 2038 阅读 · 7 评论 -
计算机视觉、目标检测、视频分析的过去和未来:目标检测从入门到精通 ------ YOLOv8 到 多模态大模型处理视觉基础任务
自注意力机制和注意力机制的区别就在于,注意力机制的查询和键是不同来源的,例如,在Encoder-Decoder模型中,键是Encoder中的元素,而查询是Decoder中的元素。在中译英模型中,查询是中文单词特征,而键则是英文单词特征。而自注意力机制的查询和键则都是来自于同一组的元素,例如,在Encoder-Decoder模型中,查询和键都是Encoder中的元素,即查询和键都是中文特征,相互之间做注意力汇聚。从剩余的预测框中选择一个与基准框的重叠面积最大的框,如果其重叠面积大于一定的阈值,则将其删除。原创 2024-07-03 19:57:49 · 297 阅读 · 0 评论 -
windows 下 基于 WSL2安装DeepSpares进行YOLOV8 v5 的加速推理
硬件要求:CPU 支持 avx2 指令集软件:操作系统只支持Linux可以通过查看CPU的规格或者使用特定的命令来检测CPU是否支持AVX2指令集。查看CPU规格:直接查看CPU的规格说明,通常在购买CPU时,其包装或者产品描述中会明确指出支持的指令集。访问CPU制造商的官方网站,通过搜索型号可以获取详细的CPU规格信息。使用系统命令:在Linux系统中,可以使用命令cat /proc/cpuinfo来查看CPU信息。原创 2024-06-12 18:27:04 · 158 阅读 · 0 评论 -
Windows 搭建C++ 纯开源开发环境 进行 YOLOv8 模型推理的开发测试环境
本人试了很多办法,发现opencv-vc16的库无法被调用,查了很多资料才发现是mingw和vc16有兼容问题,最后使用opencv-mingw的库可以完美解决。十几年过去了,我第一次写大型项目就用的Codeblocks ,其实能写C++ 的IDE 非常多,比如最近很火的Visual studio code ,当然如果你的环境可以装Visual studio 那当然是首选,但是为了减少配置和 支持跨平台,我们用久经考验的Codeblocks。在配置 的时候发现 一些有用的链接,比如包管理什么的。原创 2024-06-04 17:00:53 · 366 阅读 · 0 评论 -
使用YOLOv8 YOLOv5 进行距离测量,速度测量。使用目标检测进行测距,测速是如何实现的呢?
导读在精确检测车速车距的方案中,视觉方案是非常具有挑战性的,但由于没有昂贵的距离传感器而大幅降低成本,所以潜力巨大。本文综述了基于视觉的车辆速度、距离估计。并建立了一个完整的分类法,对大量工作进行分类,对涉及的所有阶段进行分类。除此之外,还提供了详细的性能评估指标和可用数据集概述。最后,论文讨论了当前的局限性和未来的方向。应用背景车辆速度的准确估计是智能交通系统(ITS)的关键组成,这需要解决诸如同步数据记录、表示、检测和跟踪、距离和速度估计等问题。原创 2024-05-11 22:57:28 · 452 阅读 · 0 评论 -
基于大语言模型的本地知识库问答系统构建方案
RAG 代表以下三个关键步骤「检索(Retrive)」 根据用户请求从外部知识源检索相关上下文。为此,使用嵌入模型将用户查询嵌入到与向量数据库中的附加上下文相同的向量空间中。这允许执行相似性搜索,并返回矢量数据库中最接近的前 k 个数据对象。「增强(Augment)」 用户查询和检索到的附加上下文被填充到提示模板中。「生成(Generate)」 最后,检索增强提示被馈送到 LLM。原创 2024-04-22 16:44:04 · 418 阅读 · 0 评论 -
Windows 下融合使用开源组件进行视频内容分析,shotcut ,autocut 剪辑 whisper智能化编辑双语字幕等
下面以这个黄仁勋访谈视频为例简要介绍分析的步骤。原创 2024-04-06 19:00:09 · 290 阅读 · 0 评论 -
教你利用多模态视觉大模型做目标检测 Object Detection!制造业能有那些场景使用大模型呢?还看YOLOv8,YOLOv9,YOLOv10,YOLOv11呢,烂怂卷积有啥好看的?
最近的多模态大型语言模型(MLLMs)在视觉-语言任务(如图像标注和问题回答)中表现出色,但它们缺乏基本的感知能力,即对象检测。在这项工作中,我们通过引入一个新的研究问题——上下文对象检测,来解决这一局限性,即在不同的人机交互上下文中理解可见对象。有一次我在单位汇报的时候,大领导问:深度学习先在还这么落后嘛?每次解决一个问题还要重新训练一个模型?后Sora时代,CV从业者如何选择模型?阿里云学习平台与通义千问。原创 2024-03-17 14:07:11 · 575 阅读 · 0 评论 -
基于YOLOv8的手机摄像头的自动检测系统
在工厂制造过程中,增加摄像头检测的测试,能够保证移动终端的拍摄质量。但随着移动终端生产制造的规模越来越大,人力资源的成本越来越高,只有尽可能的降低测试成本和更有效的自动化生产,才能保证移动终端产品质量和控制生产成本。这对移动终端产品的生产测试技术要求也越来越高。原创 2024-03-11 00:53:03 · 371 阅读 · 0 评论 -
利用YOLOv8 pose estimation 进行 人的 头部等马赛克
之前写过一个文章记录,怎么对人进行目标检测后打码,但是人脸识别有个问题是,很多人的背影,或者侧面无法识别出来人脸,那么我们就可以用姿态估计中的关键点信息进行补充,对人头进行打码,从而进一步的保护隐私信息。原创 2024-02-10 23:05:00 · 961 阅读 · 0 评论 -
YOLOv8.1 都有哪些新特性?Ultralytics v8.1.0 release:OBB - Oriented object detection 定向目标检测
使用定向包围框(oriented bounding box)进行目标检测可以通过减少与背景区域的重叠来更好地定位有旋转倾斜的目标。现有的OBB方法大多是在水平包围框检测器(horizontal bounding box)上通过引入额外的角度尺度(通过距离损失进行优化)构建的。定向物体检测比物体检测更进一步,并引入了一个额外的角度来更准确地定位图像中的物体。定向对象检测器的输出是一组旋转的边界框,这些边界框精确地包围了图像中的对象,以及每个框的类标签和置信度分数。原创 2024-02-08 12:43:25 · 407 阅读 · 0 评论 -
上手大模型,武装到牙齿,惊艳所有人!:一些惊艳的大模型应用和边缘端推理实现方案
如果我们想让模型做智能问答,我们可以使用一些包含问题和答案对的数据集来微调模型,使它能够根据给定的问题生成合适的答案。编码器-解码器架构:编码器-解码器架构由编码器(encoder)和解码器(decoder)两部分组成,编码器负责将输入文本转换为一个固定长度的向量表示,解码器负责根据这个向量表示生成输出文本。这是因为增加的编译器步骤允许优化,包括代码的高级表示(例如,循环展开)和低级执行(例如,强制操作对象与硬件处理器原生支持的类型之间的转换) ,这使得代码的执行速度更快,快了一个数量级。原创 2023-12-27 09:37:03 · 616 阅读 · 0 评论 -
YOLOv8 如何进行多任务合并:分割与检测合并进行自动驾驶
YOLOM 的翻译地址:https://zhuanlan.zhihu.com/p/660618705。YOLOv8 github 下面分类相关问题。pytorch 的几种卷积。原创 2023-12-24 23:49:14 · 959 阅读 · 0 评论 -
YOLOv8 如何进行多任务:以图像分类为例
vscode的调试配置里有个重要的选项没配置,就是"justMyCode": false。这个选项默认是true,是进不了第三方包源码的,所以要改成false。yolov8 图像分类的网络结构很简单,就是Conv 和C2f 的 类似卷积的重复。不同模型就是参数量级的不同。YOLOM 的翻译地址:https://zhuanlan.zhihu.com/p/660618705。主要就是 多了一个:reshape_outputs。YOLOv8 github 下面分类相关问题。原创 2023-12-18 00:40:35 · 1861 阅读 · 0 评论 -
初学者如何入门 Generative AI 之 Stable Diffusion 与 CLIP :看两篇综述,玩几个应用感受一下先!超多高清大图,沉浸式体验
扩散模型的核心思想是通过逐步向图像添加高斯斯噪声,使其逼近真实数据分布,然后通过逆向过程去除除噪声,从而恢复出原始图像。Stable Diffusion是一种基于于潜在扩散模型(Latent Diffusion Model)的文本到图像(Text-to-Image)模型,它利用用潜在表示空间和自回归方法来生成高分辨率图片。Diffusion Model:Diffusion Model是一种基于随机过程和扩散过程的模型,它通过逐步引入随机性来生成图像。原创 2023-12-10 19:07:55 · 535 阅读 · 0 评论 -
初学者如何入门Generative AI 之 Transformer 解析与应用:看两篇综述,玩几个应用感受一下先!超多高清大图,沉浸式体验
Generative artificial intelligence (also generative AI or GenAI) is artificial intelligence capable of generating text, images, or other media, using generative models.原创 2023-12-03 15:02:37 · 296 阅读 · 0 评论 -
初学者如何入门深度学习:以手写数字字符识别为例看AI 的学习路径,一图胜千言!超多高清大图收集整理
深度神经网络进行线性不可分的数据2分类通过池化操作,图片中的黑色特征在输出图片中,仍然被保留了下来,虽然有些许的误差。原创 2023-11-29 23:40:14 · 275 阅读 · 0 评论 -
视频分析【video analytics】项目的必备开源整合库 -- 使用Python 进行视频分析的跨平台底层神器
VidGear建立在独立API(也称为Gears)上,每个API都有一些独特的功能。每个Gears专门用于处理/控制/处理不同的特定于数据和设备的视频流、网络流和媒体编码器/解码器。Gears允许用户在许多最先进的库之上使用固有的优化、易于使用、可扩展和公开的API框架,同时提供强大的错误处理和无与伦比的实时性能。原创 2023-11-20 15:56:27 · 453 阅读 · 0 评论 -
目标检测工程化最佳实践:Python 并行条件下YOLOv8的模型推理,线程安全的模型推理!
本文提供了使用 YOLOv8 模型执行线程安全推理的最佳实践,确保在多线程应用程序中进行可靠和并发的预测。关键词:线程安全,YOLO推理,多线程,并发预测,YOLO模型,Ultralytics,Python线程,YOLO安全使用,AI并发。原创 2023-11-12 17:51:56 · 1388 阅读 · 0 评论 -
python 线程池,进程池
网上关于python 的线程池,进程池相关的资料较少,很多都是参考官方例子的代码。我们这篇文章就给出一些基于计算机视觉的代码实例。实际上GIL 限制了线程池的使用场景,但是从发展的眼光看,使用线程池是非常必要的。尤其是正儿八经的生产系统。可以使用3种方法避免全局锁的限制: 多进程,cython,使用非CPython解释器。原创 2023-10-24 10:59:10 · 145 阅读 · 0 评论 -
YOLOv8 windows下的离线安装 offline install 指南 -- 以 带有CUDA版本的pytorch 为例
YOLOv8 windows下的离线安装 offline install 指南 -- 以 带有CUDA版本的pytorch 为例原创 2023-10-12 16:56:03 · 778 阅读 · 0 评论 -
Python 封装一个自己的队列,切片? 深度copy ? 线程安全?
关于队列的一般概念,但是,两者的应用非常不同,因此不应该被混为一谈。尽管它们是不同的,并且用于非常不同的目的,但就完整的功能而言,它们在某种程度上是相互联系的。在我们进入它们的实际作用以及它们是如何相互联系的之前,有一个概念必须被重新审视,即计算机软件的处理的基本原理。我们知道,任何程序在活动状态下都会成为一个进程,每个进程都可以被分解原创 2023-10-11 14:24:09 · 131 阅读 · 0 评论 -
树莓派 Raspberry Pi 与YOLOv8 结合进行目标检测
libcamera 是 linux 新增加用于访问 camera 的 API。树莓派参与了 libcamera 的开发,并且在新的摄像头软件中开始从依赖于固件的摄像头图像处理管道(Image processing pipeline, ISP)迁移到更加开放的 libcamera。当然这块用USB 摄像头应该也是可以的。原创 2023-10-10 16:02:11 · 2731 阅读 · 4 评论 -
pytorch 训练、微调YOLOv5,YOLOv8 小技巧 合集
虽然GPU是处理大规模深度学习任务的主流选择,但对于那些没有GPU或者需要同时进行CPU和GPU计算的场景,如何最大化利用CPU的多核处理器也成为了一个重要的问题。虽然GPU是处理大规模深度学习任务的首选,但CPU仍然是一个重要的资源,特别是在没有GPU或者需要同时使用CPU和GPU的场景下。通过设置适当的参数和使用多个CPU核进行计算,你可以加速深度神经网络的训练过程。对于CPU,你可以使用torch.device(‘cpu’),对于GPU,你可以使用torch.device(‘cuda’)。原创 2023-10-09 14:49:14 · 511 阅读 · 0 评论 -
OpenCV 4.x 版本的新特性都有哪些?
2016年的时候我快研究生毕业了,那时候OpenCV 2.4.x 版本非常的流行,当时3.x 的版本刚发布,很多人都没有用习惯。家里还有一本书:《OpenCV 3 计算机视觉 python语言实现(原书第2版)》还没顾上看,感觉已经过时了。最近又在搞计算机视觉,我得把OpenCV 库近年来的变化梳理一下。原创 2023-10-04 02:20:52 · 636 阅读 · 0 评论 -
YOLOv8 移动检测与速度估计 -- motion detection and speed estimation
Motion detection has a wide range of applications across various industries and fields. Let’s explore some of the key areas where motion detection plays a crucial role:Surveillance Systems and Security: Motion detection is used to monitor and secure enviro原创 2023-09-27 15:31:21 · 432 阅读 · 0 评论 -
高级机器学习与信号处理 (Advanced Machine Learning and Signal Processing)双语版 -- 简介与基于Spark的实验环境搭建
!!!!!!!!!!!!!!原创 2023-09-24 01:23:48 · 209 阅读 · 0 评论 -
视频分析【video analytics】的项目的关键因素 -- 如何选择合适的摄像头,存储设备,以及AI推理硬件?
相机无意中充当了“无意的对手”,因为正如我们所展示的,连续帧中图像像素值的这些微小变化对视频分析任务中重用图像训练的深度学习模型的见解的准确性产生了明显的不利影响。为了解决摄像机无意中产生的对抗性效果,我们探索了转移的使用学习技术,通过从图像分析任务的学习中转移知识来改进视频分析任务中的学习。我们的论文还提供了新的方向和减轻相机对用于视频分析应用的深度学习模型的对抗性影响的技术。在这篇论文中,我们表明,这种在图像上运行良好的深度学习模型在视频上也会运行良好的“信念飞跃”实际上是有缺陷的。原创 2023-09-17 20:28:21 · 207 阅读 · 0 评论 -
当前视频分析【video analytics】都有哪些痛点?为什么难以落地? -- 中英双语版本
Video analytics, or video analysis, is the process of extracting useful information from video footage. This can be anything from counting the number of people in a video to identifying specific objects or individuals. Modern video analytics applies comput原创 2023-09-17 15:29:35 · 423 阅读 · 0 评论 -
python websocket 被防火墙拦截了报什么错误?-- ConnectionResetError: [Errno 104] Connection reset by peer
如果看到server 端和 client 端如下报错那么应该是防火墙拦截了。怎么知道 websocket 的连接问题到底是不是被防火墙拦截?原创 2023-09-14 01:10:09 · 300 阅读 · 0 评论 -
基于b/s架构搭建一个支持多路摄像头的实时处理系统 (3) -- Django 结合WebSocket 进行实时图像与消息的展示, 前后端交互与定时任务的重构
consumer在初始化时会接受链接的scope,类似于Django中的request对象,可以通过self.scope查看。scope[“headers”],请求头信息,以键值对的形式返回;scope[“method”],请求的方法(仅HTTP可用)scope[“path”],请求的路径;原创 2023-09-12 17:18:35 · 453 阅读 · 0 评论 -
stable diffusion mode 的使用 invokeAI or stable diffusion web UI?
文档:https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki。在webui-user.bat里的“set COMMANDLINE_ARGS=”上添加一个参数“–share”。在webui-user.bat里的“set COMMANDLINE_ARGS=”上添加一个参数“–listen。stable-diffusion-v2 的第二个版本,所需要的硬件资源相对来说可控。完成上述选择后可以开始进行下载。模型下载与微调 civitai。原创 2023-09-10 23:21:05 · 525 阅读 · 0 评论 -
缺陷或负样本难以收集怎么办?使用生成式模型自动生成训练样本,image-to-image Stable diffusion
面对这种情况,工程师一般会利用PS工具,或在良品上人为制造缺陷,或在产线蹲守等方式来获取足量缺陷图。不同数据的形式(图像或者文本,是否有缺失),数据的规模(样本数和维度大小),数据中存在的结构信息(稀疏、低秩),选择的模型都应该不一样。数据增广,就是尽可能产生更多的样本,比如,一张图像,通过裁剪、变换、翻转、加噪声,获得更多样本;使用k折交叉验证训练模型,可以提供模型的精度,防止划分数据的随机性。缺陷检测实验中,基于学习的缺陷检测算法,受困于缺陷样本少。迁移其他数据进行模型学习,并根据任务微调模型。原创 2023-08-28 23:45:36 · 1890 阅读 · 2 评论 -
PIL 或者 OpenCV 的图像数据不保存到磁盘上而获取到它的原始编码数据——Convert PIL or OpenCV Image to Bytes without Saving to Disk
PIL 或者 OpenCV 的图像数据不保存到磁盘上而获取到它的原始编码数据。原创 2023-08-26 19:48:48 · 131 阅读 · 0 评论 -
目标跟踪与检测后进行 OpenCV 人脸识别 ,马赛克
OpenCV 4.5.4版本收录了一个基于深度学习神经网络的人脸模块(以下称“OpenCV DNN Face”),包括人脸检测(使用模型YuNet,由OpenCV China团队贡献)和人脸识别(使用模型SFace,由北京邮电大学邓伟洪教授课题组贡献)。使用OpenCV DNN Face的API,只需几行代码便可以完成整个人脸检测和人脸识别处理,极大的方便了开发。原创 2023-08-10 17:17:58 · 815 阅读 · 0 评论 -
python 定时器,如何进行周期性的函数运行、状态检查,百分比计算?
另一种在 Python 3.5 版本 PEP 492 诞生,叫做 native coroutines,即通过使用 async 语法来声明的协程。一种是基于传统生成器的协程,叫做 generator-based coroutines,通过包装 generator 对象实现。interval — 定时器间隔,间隔多少秒之后启动定时器任务(单位:秒);kwargs — 线程参数,可以传递字典类型数据,默认为空(缺省参数);args — 线程参数,可以传递元组类型数据,默认为空(缺省参数);原创 2023-08-08 16:56:46 · 216 阅读 · 0 评论 -
基于YOLOv8 的 多边形区域内目标检测,跟踪,计数
yolov8 检测物体是否在多边形危险区域内,判断点是否在多边形内部的。原创 2023-08-03 01:12:29 · 3125 阅读 · 0 评论 -
基于Django 的 多摄像头实时显示系统优化 -- 消息队列与任务队列的命中逻辑判定
如何对视频分析的任务进行逻辑判定,事件命中与目标检测逻辑进行解耦呢?原创 2023-07-09 09:21:28 · 746 阅读 · 0 评论