- 博客(809)
- 资源 (134)
- 问答 (35)
- 收藏
- 关注
RSS订阅
原创 朋友们，跟我来，一起抓住大数据时代的AI机遇
21 世纪什么最值钱？人才！什么样的人才更值钱，懂大数据+AI 算法的人最值钱！我希望能够通过我自己的学习路径，资料的分享，和伙计们共同成长，降低学习成本提升学习效率，尽早迈入职业成长的快车道！............
2021-04-17 14:34:54
1530
5
原创 《基于大数据的机器学习原理与最佳实践》 ---- 总目录
本子目录主要是针对，在大数据环境下进行机器学习的相关内容介绍子目录，总体内容和目录还是以 《大数据处理实践探索》 为准, 本子目录的内容主要以spark 尤其是pyspark 进行机器学习为主线，围绕机器学习，深度学习全流程进行介绍。机器学习强调三个关键词：算法、经验、性能，其处理过程如上图所示。在数据的基础上，通过算法构建出模型并对模型进行评估。评估的性能如果达到要求，就用该模型来测试其他的数据；如果达不到要求，就要调整算法来重新建立模型，再次进行评估。如此循环往复，最终获得满意的经验来处理
2021-04-09 22:24:12
939
原创 《大数据+AI在大健康领域中最佳实践前瞻 》---- 总目录
文章大纲简介简介健康是人类永恒的主题也是社会进步的重要标志，健康已成为新世纪人们生活的基本目标。大健康产业具有巨大的市场潜力，未来在我国经济结构向服务业转型过程中，大健康产业将成为我国国民经济支柱型产业......
2021-03-14 00:04:26
1746
7
原创 《大数据机器学习实践探索》 ---- 总目录
为了采集、存储和分析大数据，互联网公司尝试研发大数据技术，在众多技术方案中，开源系统 Hadoop、 Spark、Elasticsearch等 成为应用最广泛的大数据技术，由于它们的用户量巨大，已经初步成为大数据技术规范。本专栏《大数据处理实践探索》 通过记录**基于Python 的大数据处理实践探索案例**，力图将大数据与机器学习相结合 产生新的实践落地思路。 网络上的大数据相关博文多是基于java 或者Scala ，本专栏的目的在于基于python 将大数据，数据开发，与数据分析相结合。并在实践内
2021-02-18 22:38:21
1081
原创 《自然语言处理实战入门》 ---- 【重制版】总目录
随着人工智能的快速发展，自然语言处理和机器学习技术的应用愈加广泛。为使大家对该领域整体概况有一个系统、明晰的认识，同时入门一些工程实践，也借CSDN为NLP的学习，开发者们搭建一个交流的平台。我希望能够通过这个专栏《自然语言处理实战入门》和广大NLP爱好者一起学习自然语言处理技术，分享学习资料，打破NLP 技术 的实战应用壁垒。................................................
2020-12-03 10:36:16
3978
原创 老王和他的IT界朋友们 ---- 交流渠道
既然 来了就都是我们的朋友，一路都在狂奔不止，感谢大家能花费宝贵的时间在这里驻足停留，老王会不遗余力的带给你美好。也许，我们会有停杯投箸不能食的时候，也有拔剑四顾心茫然的时候，干啥啥不顺，调啥啥不通，仿佛生活欺骗了你，此时此刻，彼时彼刻，脑海中只要浮现几个词：坚持，不忘初心。
2020-08-02 22:29:06
5478
2
原创 从前有一个程序员，成天写代码，后来。。。
每天你都有机会和很多人擦身而过，而你或者对他们一无所知，不过也许有一天他会变成你的朋友或是知己……先来看看老王和他的IT界朋友们吧p.s 经常有人问我，老王，你明明可以穿的挺帅，为什么总是穿的很随意呢？其实道理很简单，我是做技术活的，打扮太好人家会以为我技术不行。从前有一个程序员，成天写代码，后来，他屎了1.一门可以靠手艺混饭的专业 你好，非常荣幸能够步入改变世界的软件开发行业，接下来我们聊点正经
2019-10-20 21:35:09
22717
59
原创 2023 年KPI (KPI:Key Performance Indicator) review
设计模式和架构设计的学习停滞不前，只更新了一个设计模式，但是找到了一些比较有效的资料。
2023-09-24 17:54:54
67
原创 高级机器学习与信号处理 （Advanced Machine Learning and Signal Processing）双语版 -- 简介与基于Spark的实验环境搭建
!!!!!!!!!!!!!!
2023-09-24 01:23:48
5
原创 视频分析【video analytics】的项目的关键因素 -- 如何选择合适的摄像头，存储设备，以及AI推理硬件?
相机无意中充当了“无意的对手”，因为正如我们所展示的，连续帧中图像像素值的这些微小变化对视频分析任务中重用图像训练的深度学习模型的见解的准确性产生了明显的不利影响。为了解决摄像机无意中产生的对抗性效果，我们探索了转移的使用学习技术，通过从图像分析任务的学习中转移知识来改进视频分析任务中的学习。我们的论文还提供了新的方向和减轻相机对用于视频分析应用的深度学习模型的对抗性影响的技术。在这篇论文中，我们表明，这种在图像上运行良好的深度学习模型在视频上也会运行良好的“信念飞跃”实际上是有缺陷的。
2023-09-17 20:28:21
70
原创 当前视频分析【video analytics】都有哪些痛点？为什么难以落地？ -- 中英双语版本
Video analytics, or video analysis, is the process of extracting useful information from video footage. This can be anything from counting the number of people in a video to identifying specific objects or individuals. Modern video analytics applies comput
2023-09-17 15:29:35
51
原创 python websocket 被防火墙拦截了报什么错误？-- ConnectionResetError: [Errno 104] Connection reset by peer
如果看到server 端和 client 端如下报错那么应该是防火墙拦截了。怎么知道 websocket 的连接问题到底是不是被防火墙拦截？
2023-09-14 01:10:09
56
原创 基于b/s架构搭建一个支持多路摄像头的实时处理系统 (3) -- Django 结合WebSocket 进行实时图像与消息的展示， 前后端交互与定时任务的重构
consumer在初始化时会接受链接的scope，类似于Django中的request对象，可以通过self.scope查看。scope[“headers”]，请求头信息，以键值对的形式返回；scope[“method”]，请求的方法（仅HTTP可用）scope[“path”]，请求的路径；
2023-09-12 17:18:35
293
原创 stable diffusion mode 的使用 invokeAI or stable diffusion web UI？
文档：https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki。在webui-user.bat里的“set COMMANDLINE_ARGS=”上添加一个参数“–share”。在webui-user.bat里的“set COMMANDLINE_ARGS=”上添加一个参数“–listen。stable-diffusion-v2 的第二个版本，所需要的硬件资源相对来说可控。完成上述选择后可以开始进行下载。模型下载与微调 civitai。
2023-09-10 23:21:05
356
原创 缺陷或负样本难以收集怎么办？使用生成式模型自动生成训练样本，image-to-image Stable diffusion
面对这种情况，工程师一般会利用PS工具，或在良品上人为制造缺陷，或在产线蹲守等方式来获取足量缺陷图。不同数据的形式（图像或者文本，是否有缺失），数据的规模（样本数和维度大小），数据中存在的结构信息（稀疏、低秩），选择的模型都应该不一样。数据增广，就是尽可能产生更多的样本，比如，一张图像，通过裁剪、变换、翻转、加噪声，获得更多样本；使用k折交叉验证训练模型，可以提供模型的精度，防止划分数据的随机性。缺陷检测实验中，基于学习的缺陷检测算法，受困于缺陷样本少。迁移其他数据进行模型学习，并根据任务微调模型。
2023-08-28 23:45:36
889
2
原创 PIL 或者 OpenCV 的图像数据不保存到磁盘上而获取到它的原始编码数据——Convert PIL or OpenCV Image to Bytes without Saving to Disk
PIL 或者 OpenCV 的图像数据不保存到磁盘上而获取到它的原始编码数据。
2023-08-26 19:48:48
47
原创 目标跟踪与检测后进行 OpenCV 人脸识别 ，马赛克
OpenCV 4.5.4版本收录了一个基于深度学习神经网络的人脸模块（以下称“OpenCV DNN Face”），包括人脸检测（使用模型YuNet，由OpenCV China团队贡献）和人脸识别（使用模型SFace，由北京邮电大学邓伟洪教授课题组贡献）。使用OpenCV DNN Face的API，只需几行代码便可以完成整个人脸检测和人脸识别处理，极大的方便了开发。
2023-08-10 17:17:58
670
原创 python 定时器，如何进行周期性的函数运行、状态检查，百分比计算？
另一种在 Python 3.5 版本 PEP 492 诞生，叫做 native coroutines，即通过使用 async 语法来声明的协程。一种是基于传统生成器的协程，叫做 generator-based coroutines，通过包装 generator 对象实现。interval — 定时器间隔，间隔多少秒之后启动定时器任务(单位：秒)；kwargs — 线程参数，可以传递字典类型数据，默认为空(缺省参数)；args — 线程参数，可以传递元组类型数据，默认为空(缺省参数)；
2023-08-08 16:56:46
130
原创 2023 年中回顾：珍惜当下，锻炼身体
距离上次阶段性回顾仅仅过去半年，感觉整个IT 行业天翻地覆慨而慷了。时光荏苒，我自己也在芯片领域深耕了365天，智能制造行业know-how已不再神秘，当AI技术卷土重来，各个垂直行业的最佳实践就是通通重做一次。当感觉停滞不前的时候，不妨停下脚步，回望过去是为了校准未来。
2023-07-16 01:39:15
163
原创 基于Django 的 多摄像头实时显示系统优化 -- 消息队列与任务队列的命中逻辑判定
如何对视频分析的任务进行逻辑判定，事件命中与目标检测逻辑进行解耦呢？
2023-07-09 09:21:28
608
原创 目标检测中YOLO系列算法发展历史回顾
目标检测：除了对图像的类别进行判断外，还需要对图像中目标的位置进行判定，并通过置信度的设定过滤掉一些误检目标。
2023-06-26 00:19:38
767
原创 python + pytorch 多线程实现级联模型的业务逻辑
基于YOLOv8 目标跟踪和 pytorch 图片分类，实现模糊场景下融合 一个简单的消息队列，进行逻辑判断的级联模型推理。如果 目标跟踪 的模型想要和图片分类的业务逻辑进行混合，该怎么实现？
2023-06-26 00:16:52
260
原创 基于python 的轻量级线程安全、持久化本地消息队列：persist-queue
基于python 的轻量级线程安全、持久化本地消息队列：persist-queue。
2023-06-20 20:25:05
536
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（5 - AIGC 未来展望）
据预测，未来五年10%-30%的图片内容由AI参与生成，考虑到下一代互联网对内容需求的迅速提升，2030年AIGC市场规模将达到1100亿美元。
2023-06-17 00:31:51
331
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（4 - AIGC 应用实践）
毫不夸张的说，如果在AIGC 时代，企业想仅靠应用层面的竞争而成为下一个科技龙头，显然难以实现。我们从人工智能的发展历程中已经明显地看出，模型的迭代和进步才是AIGC 爆发的关键。谁能够掌握更先进的人工智能模型，谁就拥有开启新时代的钥匙。
2023-06-16 23:36:06
125
原创 跌倒检测数据集：基于开源数据集的制作
现有的跌倒公开数据集有UR Fall Detection Dataset、Multicam、Fall detection Dataset、Le2i Fall detection Dataset等。数据集的内容以视频或连续的图像帧为主要呈现形式，部分图像帧不包含人物，包含人物的图像帧存在跌倒和正常两种行为，但是这是一种典型的不平衡数据，跌倒行为数据量远小于正常行为数据量。
2023-06-16 09:36:57
501
原创 基于目标检测、跟踪 的人体姿态估计 算法进行跌倒检测 ---- fall detection
COCO的annotation一共有17个关节点。分别是：“nose”,“left_eye”, “right_eye”,“left_ear”, “right_ear”,“left_shoulder”, “right_shoulder”,“left_elbow”, “right_elbow”,“left_wrist”, “right_wrist”,“left_hip”, “right_hip”,“left_knee”, “right_knee”,“left_ankle”, “right_ankle”。
2023-06-13 11:07:15
852
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（3 - ChatGPT 成功之路）
AIGC的火爆原因：“技术、需求、产业链”的共同加持。深度学习快速突破，需求端对降本增效的追逐，产业链、生态基本形成；
2023-06-07 00:33:52
314
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.3-大模型发展历程 之 图像、视频生成与视觉大模型）
强化学习是机器学习领域之一，受到行为心理学的启发，主要关注智能体如何在环境中采取不同的行动，以最大限度地提高累积奖励。
2023-06-06 23:36:45
651
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.4 -大模型发展历程 之 多模态）
多模态定义： 多模态生成， 指将一种模态转换成另一种模态， 同时保持模态间语义一致性。主要集中在文字生成图片 、文字生成视频及图片生成文字。◼ Transformer架构的跨界应用成为跨模态重要开端之一。多模态训练普遍需要匹配视觉的区域特征和文本特征序列， 形成Transformer架构擅长处理的一 维长序列， 与Transformer的内部技术架构相符合。此外Transformer架构还具有更高的计算效率和可扩展性， 为训练大型跨模态模型奠定了基础。
2023-06-04 02:41:28
524
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.2-大模型发展历程 之 Transformer 与 GPT）
简单来讲，GPT-2 并没有对 GPT-1 的模型架构进行创新，而是在 GPT-1 的基础上引入任务相关信息作为输出预测的条件，将 GPT-1 中的条件概率 p(output|input) 变为 p(output|input;模型的训练提供指导成为 GPT-1 中需要解决的第一个问题。的情况下，GPT-3 在多个任务上均展现出了非常优异的性能，延续 GPT-2将无监督模型应用到有监督任务的思想，GPT-3 在 Few-shot，One-shot 和Zero-shot 等设置下的任务表现都得到了显著的提升。
2023-06-01 00:49:07
354
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.1-大模型发展历程 之 背景与开端）
追寻大模型的“万恶之源”，大抵应该从那篇 Attention is All You Need 开始，基于这篇由谷歌机器翻译团队提出的由多组 Encoder、Decoder 构成的机器翻译模型 Transformer 开始，大模型的发展大致走上了两条路，一条路是舍弃 Decoder 部分，仅仅使用 Encoder 作为编码器的预训练模型，其中最出名的代表就是 Bert 家族。根据经验观察，语言模型的性能随着模型的增大而增加(有时是可预测的，有时是突然的)，这也导致了模型规模越来越多的趋势。
2023-05-30 00:32:23
423
原创 AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（1-简介）
全球人工智能市场规模从2016年的约600亿美元发展到2021年的近3000亿美元，在推荐系统、计算机视觉、自然语言处理等技术加持下，亚马逊、字节、商汤、特斯拉等公司快发展。生成式AI：学习数据中的联合概率分布，并非简单分析已有数据而是学习归纳已有数据后进行演技创造，基 于历史进行模仿式、缝合式创作，生成了全新的内容，也能解决判别问题。决策式AI：学习数据中的条件概率分布，根据已有数据进行分析、判断、预测，主要应用模型有用于推荐系 统和风控系统的辅助决策、用于自动驾驶和机器人的决策智能体。
2023-05-21 08:25:08
863
4
原创 如何基于异步消息队列进行深度学习模型推理预测？distributed inference with pytorch celery huey sqlite
先说一下celery 不支持windows 【或者说支持的不好】
2023-05-08 14:52:00
333
原创 图片分类的效果不好怎么办？-- 从数据驱动的角度出发
吴恩达老师曾做了实验，通过数据驱动的模型调优可以获得效果的显著增长，而模型参数调优等骚操作基本没有什么卵用。
2023-05-05 15:52:20
582
原创 图片分类：精细化分类，(Fine-Grained Categorization) 基于人的行为的精细化分类
细粒度图像识别 (fine-grained image recognition)，即 精细化分类。细粒度图像分类(Fine-Grained Categorization),又被称作子类别图像分类(Sub-Category Recognition),是近年来计算机视觉、模式识别等领域一个非常热门的研究课题. 其目的是对粗粒度的大类别进行更加细致的子类划分, 但由于子类别间细微的类间差异和较大的类内差异, 较之普通的图像分类任务, 细粒度图像分类难度更大.
2023-05-01 23:53:42
884
正常走路，走路玩手机，打电话，图片数据集15000张，3个类别，全部经过人工判别，基于此数据集分类准确度90%+，可信度100%
2023-08-06
基于Django YOLOv5搭建实时多摄像头监控系统
2023-06-09
智能聊天机器人技术研究与应用.pdf
2023-06-07
深度学习与视频分析简介.pptx
2023-06-07
基于Django YOLOv8搭建实时跟踪与统计系统.pptx
2023-06-07
AIGC研究与应用1-简介.pptx
2023-06-06
AIGC研究与应用1-简介
2023-06-06
走路玩手机，打电话，图片数据集约4500张图片，3个类别
2023-05-24
基于知识图谱的问答机器人【医疗领域】
2022-08-23
医疗知识库与商业健康保险的结合简介与实现
2022-06-15
保险公司对接医疗平台拉取推送健康保险就诊类数据接口样例
2022-06-11
中英文反向词典封装后端工程
2022-02-18
用AI 算法起中文名字工程
2022-02-18
windows11 下使用清华大学MixPoet 项目训练的AI 写诗模型与代码
2022-01-15
基于Django构建在线文本分类预测系统代码、模型、数据集：SVM模型在线预测与部署 基于 Django 3.2 框架
2021-12-06
人工智能医疗器械数据集的构建标准.zip
2021-09-05
自然语言处理峰会PPT公开版.zip
2021-07-18
计算机、软件工程相关专业毕业、职业生涯规划、考研、笔试、机试、简历写作资料总结
2021-07-04
NERuselocal.zip
2021-04-19
LearningSparkV2-master (00).zip 代码及数据集
2021-04-14
体检机构数据接入接口设计(push).xlsx
2021-03-27
hcup数据集简介与基本分析.zip
2021-03-27
season_CGM.zip
2021-03-27
糖尿病慢病管理解决方案与资料.zip
2021-03-27
医疗信息基础数据知识库
2021-03-15
毕业设计指纹识别.7z
2021-02-15
Texts_Classification.zip
2021-02-15
linux shell 批量处理相同后缀文件
2016-08-20
请问win10操作系统官方纯净版下载链接
2016-08-08
python从txt中提取每一行的中文
2016-07-24
如何通过训练达到解决复杂算法问题的能力？
2016-07-20
请问大型网站中实时排名如何实现？
2016-05-17
电脑发送消息给手机的方法
2016-04-13
开发支持高并发的webservice，现在一般用哪些技术？
2015-10-26
swift 设置控件在手机中间？
2015-09-11
python获取100万个不同的URL？
2015-07-20
swift 环形进度条，显示不出来
2015-07-09
ios swift string 类型转化为CGfloat给CGRectMake
2015-06-29
ios swift 多个界面，viewcontroller应该怎么写呢？
2015-06-29
如何访问xml中所有标签为label 的内容
2015-05-15
按钮添加超级链接，应该怎么改改，或者超链接是按钮样式
2015-04-24
将一个html中的文本表单提交到另一个html上
2015-04-20
xtion pro和xtion pro live区别?
2015-04-20
这样的图用什么作图软件可以画出来？
2015-01-25
Azure平台支持那些虚拟系统呢？更适合微软的系统么？
2015-01-23
虚拟化技术是是如何实现的？
2015-01-22
为什么要这样颜色转换，有什么理论支撑？
2015-01-21
Django template 中如何获取 App 中的变量值
2023-06-22
django channels 运行一段时间后自动断开
2023-03-01
django channel 发送数据一段时间后自己断开
2023-03-01
特征变量分箱 能提升决策树准确率吗？xgboost 呢？ 为什么
2022-10-16
计算密集和io密集的区别可不可以概括为长期占用文件句柄和CPU？
2022-09-02
前端显示视频的话，rtsp推流 websocket 哪个延迟低？
2022-07-12
同花顺公式，编程股票筛选问题
2022-06-26
python base64 编解码 图片长度不一致的问题？ 为什么长度变短了？
2022-05-27
请问都有哪些手段提高在线机器学习模型支持高并发的能力？
2022-05-11
请问缺失值填充应该在什么时候，用什么数据做呢？
2021-11-22
这种类似url 映射到服务器的目录，是咋实现的？
2021-05-10
spark 本地 maven 工程报错
2021-04-21
有哪些开源的拖拽式机器学习框架可以介绍一下，类似阿里机器学习PAI这种？
2021-03-30
mongodb数据导出太慢，求快速导出数据的办法
2017-09-17
能让yarn瞬间提升负载得方法？
2017-08-31
Python程序用到了com接口，调用windows下面剪贴板什么的
2017-01-10
cdh 集群启动management service报错
2016-10-09
linux shell脚本，多个主机同步时间
2016-09-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人