深度学习
文章平均质量分 65
qianbo_insist
AI,网络安全,nodejs,c++ ,java,.net
email :[email protected]
weixin:18091589062
展开
-
AI读图片问题和多通道问题
image.io 是RGB格式 而opencv是BGR模式,多通道原创 2023-07-16 20:24:07 · 419 阅读 · 0 评论 -
pytorch 欠拟合和过拟合 多项式回归
训练误差和验证误差都有,还可能比较严重, 但它们之间仅有差距不大。这个时候模型不能降低训练的误差,有可能是我们设计的模型简单了,表达能力不足, 捕获试图学习的模式比较难。由于我们的训练和验证误差之间的泛化误差很小, 这个时候我们认为可以用一个更复杂的模型降低训练误差,那这个时候模型就被称为欠拟合,英文:underfitting。原创 2023-07-16 15:40:15 · 555 阅读 · 0 评论 -
pytorch深度学习 之二 拟合数据 从线性到非线性
以下是随意的数据,不用太在意,我们在使用图像分类的时候,或多或少的使用训练集和验证集,我们也同样如此来做这个事情下面使用unsqueeze来增加维度接下来我们打乱数据,将数据分成训练集和验证集,但是每个集合都需要分为输入和输出.4f.4f。原创 2023-07-15 21:15:46 · 303 阅读 · 0 评论 -
安装onnxruntime 推理加速
1、临时更改源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple onnxruntime如果是默认的源位置会很慢,更改以下为好2、测试cmd下键入python python>>> import onnxruntime python>>> onnxruntime.get_device() 'CPU' python>>> onnxruntime.get_available_pro原创 2022-05-23 15:37:45 · 2387 阅读 · 1 评论 -
大数据支持的数据集洞见-医疗-心率和呼吸分类(一)
1、数据集本次心率数据在少量设备情况下,在几天的数据量已经达到了上几百万数据,如何从中找到有用的,并且规划出元数据来进行实验和分析是最终目的。需要做的是:1 数据清除2 数据规划元数据3 数据分析和洞见4 实验前面很多文章和实验都表明我们要制作一个数据集是非常困难的,数据库里面的数据只是一个存储集合,谈不上大数据集合。如下表所示,将数据集导入csv文件,并做过滤我们的数据集和应将type类型变为元数据字段:1 心率2 呼吸3 安静系数4 是否辗转最后一个是结果心率原创 2022-04-30 10:30:48 · 1100 阅读 · 0 评论 -
制作数据集数据过滤和数据缺失策略-pandas-sklearn
使用工具将数据集过滤分类,将csv文件另存为小文件,使用代码将文件过滤分析,示例:存储文件11.csv后,过滤column类型为heart的列取值heart原创 2022-04-29 06:41:28 · 302 阅读 · 0 评论 -
大数据分析机器学习(四) 神经网络-二元分类(1)
数据准备本次数据使用imdb数据, IMDB一般指互联网电影资料库, Internet Movie Database,简称IMDb,创建于1990年10月17日,隶属于亚马逊公司旗下网站. 此次的数据使用正向和负向二元,一种语论为正,叫positive,一种语论为负,为negtive, 那么我们训练的数据就有neg,和pos,如下图所示:打开pos地下的文件,有很多,如下图所示,里面有很多语句如下语句是0_9.txtBromwell High is a cartoon comedy. It ra原创 2022-04-25 17:25:20 · 2054 阅读 · 0 评论 -
大数据分析机器学习(三)之岭回归-医疗心率数据分析
大数据分析机器学习(一)之线性模型-年龄和心率关系大数据分析机器学习(二)之直方图和多元线性回归岭回归岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。数据以下是我们模拟的医疗数据,breath 呼吸次数,bp血压,heartbeat原创 2022-04-18 21:41:05 · 3751 阅读 · 0 评论 -
大数据分析机器学习(二)之直方图和多元线性回归
使用直方图获取洞见和多元线性进行回归分析原创 2022-04-17 21:43:37 · 2227 阅读 · 0 评论 -
摄像头大数据分析跟踪均值漂移算法-spark和python
非结构化数据的大数据处理数据有文字,图片,音频,视频,这些都属于非结构化数据,计算机不能直接识别,摄像头信息需要进行预处理,解压,解码,去重,合并,提取,清洗,分词nlp,将图片,音频,视频等媒体信息转化为结构体数据,进行聚类识别,而均值漂移算法是算法中的能手。AI分析识别摄像头里面的物体对象需要AI识别,均值漂移除了可以分类还可以跟踪,实际上跟踪也是分类的做法而已。在1万张图片中,我们假定要跟踪一个红色的汽车,并且有一个车牌号码,实际上我们可以使用均值漂移先找出所有图片中近似的红色的分类图片,可能原创 2022-04-15 20:30:13 · 2335 阅读 · 0 评论 -
深度神经网络的本质(无一句代码)
提出问题 对于二分类问题,使用二元交叉熵损失函数,对于多分类问题,可以用分类交叉熵损失函数,对于回归问题,可以使用均方误差,对于序列问题,可以使用联结主义时序分类损失函数CTC(connectionlist temppral classfication),但是对于以上指导解决不了的问题时,我们需要开发目标函数。选择创建新的网络结构。大脑的不同之处 我们指导大脑的神经元联结是无与伦比的,计算机的软件能创造的结构原创 2022-04-13 07:02:25 · 291 阅读 · 0 评论 -
大数据分析机器学习(一)之线性模型-年龄和心率关系
1、线性回归线性回归是利用数理统计中回归分析,使用该方法可以确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w’x+e,e为误差服从均值为0的正态分布。如何利用线性回归来统计和预测数据?我们先使用最简单得线性模型来预测数据,慢慢走到更深得层次。2、数据量数据量得大小决定了模型是否精确,训练数据不足将会使得机器学习得成果很低,因此我们才需要“大数据”。3、sklearn我们使用得工具是python中得pandas和sklearn,sklearn是ten原创 2022-04-10 14:57:14 · 2186 阅读 · 0 评论 -
使用darknet-dnn-GPU方式识别物体(一)
1、darknetdarknet是一个c写的可以使用GPU方式来调用深度卷积网络来识别物体的深度学习框架,上手及其简单,易用。1.1 编译到官方网站下载后编译darknet,注意一定要下载cudn,编译gpu版本。为了演示方便,这里直接在windows上编译,使用cmake就行,依赖就是opencv,stb,还有就是cuda。使用cuda静态库将opencv和cuda,以及pthreads的头目录配置好,编译就行,生成darknet.exe,dark.lib 等等,下面要使用。1.2 测试原创 2022-04-09 17:27:14 · 2606 阅读 · 1 评论 -
使用dlib 进行人脸识别
编译dlib从官方网站下载准备好人脸数据准备好人脸数据,放入各自的文件夹,然后给文件夹起好名字,这里就是人的名字拼音首字。准备好test数据test数据也是图片,一次对比一张,其外,还要有dlib的face模型,包含两个文件,一个是dlib_face_recognition_resnet_model_v1.dat和shape_predictor_68_face_landmarks.dat,两个文件,在运行过程中必须加载//查找文件夹下面的所有文件夹//人名的文件夹void face_r原创 2022-03-10 22:05:40 · 1970 阅读 · 0 评论 -
深度学习之 epoch batch iteration
知识点无论是使用yolo3,4 都是一样的过程,例如使用yolo3 去训练的时候,使用参数tran来训练,darknet的好处是可以使用opencv直接来kd.data7 分类,也就是输出可能是7种里面的一种classes = 7train = J:/AI/darknet-train/data/train.txtvalid = J:/AI/darknet-train/data/val.txtnames = J:/AI/darknet-train/data/KD.namesbackup = J原创 2021-07-29 08:36:05 · 1154 阅读 · 0 评论 -
新型智慧讲台的人工智能
智慧讲台智慧讲台是一种多媒体的讲台,现代的讲台,已经加入了更多的元素,例如人工智能,并不是为了跟风潮流,试想一下,在教师讲课的时候,如:1、历史课在教师语音重点在恐龙的时候,讲台负责语音和语义分析,2、地理课3、图画课4、音乐课5、其他艺术类课6、化学课人工智能解决的问题人工智能解决的问题在于解放老师的思维,辅助和超越讲课的内容,激发孩子的想象力,想象力是无穷的,当给孩子在讲授更新孩子神经元的节点上,孩子的接收能力是远远超过我们的想象力的,这种力量不在于强迫填鸭教育,而是根据孩子们的视原创 2021-07-18 09:43:39 · 842 阅读 · 2 评论 -
Resnet 残差网络使用案例
Resnet 网络Resnet是残差网络(Residual Network)的缩写,该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分,典型的网络有resnet50, resnet101等。Resnet网络的证明网络能够向更深(包含更多隐藏层)的方向发展。本篇是从国外的教程learnopencv 中的TensorFlow-Fully-Convolutional-Image-Classification而来,使用tensorflow2.1以上版本,文章中使用下载预训练的模型,改成原创 2021-07-06 21:12:28 · 2454 阅读 · 1 评论 -
opencv 智能答卷识别系统(二) 自动阅卷
智能识别答卷二这是一,可以参考 智能答卷识别系统一A 、根据条件去截取多个区域1、 姓名班级考场这一步可以使用文字识别来做,也可以去除,因为哪一张考卷是谁的,证件号码是可以识别的,这里是为了冗余而做。2、 证件号码3、 答案区域把这三个部分都识别出来,就好办了show me the main code主程序是通过试卷上面的标记来识别是哪一种试卷,然后分割出自己要的三部分区域,然后,重点,就是识别函数int main(int argc, char** argv){ #if 0原创 2021-06-23 20:53:19 · 1984 阅读 · 3 评论 -
opencv 智能答卷识别系统(一)
目标识别答卷答案,识别准号证号码,识别姓名识别试卷类别试卷是有标记的,如试卷上方的黑框,排序结构,使用c++的标准排序算法struct Ruley { bool operator()(const Rect &a1, const Rect &a2) { return (a1.y) < (a2.y); }};```c ```c void findpos(Mat img){ Mat gray,edge; cv::cvtColor(img, gray, COL原创 2021-06-14 18:13:35 · 994 阅读 · 1 评论 -
c++20 协程 图片识别框架 紫丁香
目的【听雨堂】 从web上传图片和视频,httpserver后台接收,进行图片识别并返回使用框架1 asio2 websocketpp3 websock 【紫丁香研发】4 opencv5 调用pythonhttpserver和websocket server第一版使用的httpserver 和 websocket server 是由websocketpp制作的路由比如nodejs 的 express 或 koi比如go 语言的iris 等等那种路由方式很理想这里模仿这种方式,使用c原创 2021-05-26 21:13:41 · 316 阅读 · 0 评论 -
检测直线方法 python
霍夫直线检测import cv2 as cvimport numpy as npimg = cv.imread('1.png')def line_detection(image): gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY) # apertureSize做Canny时梯度窗口的大小 edges = cv.Canny(gray, 50, 150, apertureSize=3) # 返回的是r和theta lin原创 2021-04-16 07:12:56 · 4208 阅读 · 0 评论 -
应用人工智能识别增加教育医疗产品的趣味和实用性
1、手势识别识别指关节为什么要识别这个,作用时计算手指的手势后立刻可以计算手的相对位置,这里提出一个产品的细节:指挥,指挥ppt翻页是有用的,相对于语音来讲,手势有一个好处就是更加明确,说话有可能是无意说翻动,下一页,上一页,不过最好是两者的结合,可以仔细结合一下各种场景来做应用。2、语音识别语音识别不用想很有用了,太有用,会议记录和会议纪要完全可以靠语音识别来做,使用命令来控制图像增强很有趣,也很实用,医生可以对着无线麦克风来说:1 对比度增强2 黑色增强3 放大一点4 缩小一点4原创 2021-03-31 08:29:14 · 347 阅读 · 0 评论 -
识别手指pos 20个
识别结果可惜非GPU结果8秒,后面使用GPU试一下到底能达到多少#include <opencv2/dnn.hpp>#include <opencv2/imgproc.hpp>#include <opencv2/highgui.hpp>#include using namespace std;using namespace cv;using namespace cv::dnn;#ifdef _DEBUG#pragma comment(lib,“op原创 2021-03-31 07:40:53 · 147 阅读 · 0 评论 -
opencv 高反差保留算法
Mat HighPass(Mat img){Mat temp;//GaussianBlur(img, temp, Size(3, 3), 1.6, 1.6);medianBlur(img, temp, 3);int r = 10;Mat diff = r * (img - temp); //高反差保留算法return diff;}原创 2021-03-24 20:25:17 · 875 阅读 · 1 评论 -
数据分析工具
介绍数据分析工具1 scipy 向量,物理 傅里叶 矩阵计算scipy.cluster 向量计算/Kmeansscipy.constants 物理和数学常量scipy.fftpack 傅立叶变换scipy.integrate 积分程序scipy.interpolate 插值scipy.io 数据输入输出scipy.linalg 线性代数程序scipy.ndimage n维图像包scipy.odr 正交距离回归scipy.optimize 优原创 2021-03-20 19:58:28 · 202 阅读 · 0 评论 -
tensorflow,Anaconda和 vscode 如何连接以及问题解决
主要是为了解决安装tensorflow的问题,tensorflow新版本已经不分gpu和cpu版本了,不需要再独立安装cpu,gpu版本,安装运行的时候自动查找是否有gpu,这个确实已经非常厉害了,能在Anaconda的环境下,再使用vscode,这个更方便,因为你写完java,写个go,再写个python,只要在vscode里面运行就行,多方便。Anaconda安装完了以后可以使用来创建自己的环境:创建环境conda create name查看自己有多少个环境conda list下载非常原创 2021-02-24 07:24:12 · 816 阅读 · 0 评论 -
也谈般若波罗密多心经与计算机世界
也谈般若波罗密多心经读过很多遍心经,越读越对经文感触深厚,很多人依然从字面理解般若波罗密多心经。色不异空 空不异色 色即是空 空即是色什么是色,什么是空1 假定我们的概念是基本我们能见的有形物质叫做色2 空就是空无一物,无法看到色相ok,我们来证明 这一点,用程序员上过大学的眼光去看,科学常识,你正在处于色与空的连续体中,你身边到处是色和空 譬如有一块铁,你变成一个原子进去,其实看见的依然是色于空,原子,电子和空 , 好,再小一点, 我们都看过蚁人,到量子力学里面,你看到的还是色原创 2020-12-04 19:21:57 · 535 阅读 · 1 评论 -
产品经理之深度学习促进产品之分类(三)
微信:18091589062 高级产品经理 钱波 深度学习收到公众关注度越来越高,产业投资也越来越多,想要进入这个行业,产品经理必然要熟悉很多概念,理解这些概念,并且获得相应的案例知识。本章依然和大家一起探讨深度学习的概念和案例,上一章讲了svm,支持向量机。这是一种分类方法。 我们继续来学习分类,为什么是分类? 因为你无时无刻不在分类, 眼之所到,分类为先...原创 2019-10-22 08:31:42 · 524 阅读 · 1 评论 -
产品经理之深度学习促进产品(二)
产品经理之深度学习促进产品(二)案例一 阿里巴巴电子商务公司阿里巴巴通过大数据技术获取企业交易数据,自动分析和预测是否增加对企业的贷款,整个过程没有人工介入,全部为自动化处理。到目前为止,阿里巴巴给企业的贷款早就超过了50亿美元,其中百分之0.3的坏账率。案例二 健康和医疗应用医药数据包含大量的各类有价值的信息,数据具有无限潜能。大数据和物联网正在彻底改变健康企业。传感器收集病人...原创 2019-10-19 13:14:17 · 474 阅读 · 1 评论 -
产品经理之深度学习促进产品
深度学习深度机器学习现状为什么是深度学习产业互联网音视频的重要性物联网的重要性产品经理需要学习的数据分类和方法下一篇内容高级产品经理:钱波 微信 18091589062 qqmail:[email protected]深度机器学习现状Kaggle上的机器学习竞赛非常激烈,动则奖金是几百万美元,图像分类上面,使用深度学习感知问题。卷积神经网络和反向传播的概念是什么?大部分来面试的人论文上写着卷...原创 2019-10-14 20:26:50 · 576 阅读 · 0 评论