自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(39)
  • 收藏
  • 关注

原创 【计算机视觉】目标检测—yolov5自定义模型的训练以及加载

yolov5如何自定义训练模型?如何加载模型并进行解读

2022-11-26 18:37:58 1034

原创 【Opencv】形态化处理识别物体的大小

已知白色背景的大小为30mm(目测30mm,没有测量,更注重讲解方法),其所占的像素假设为Z,通过opencv可以获取内部手机边长像素大小为Z’,所以可以求取其长度为y’ = (Z’/Z)*30。本文选取白色背景和识别对象采用的方法一样,我们可以讲其定义为函数,进行调用。这部分不再多述,读者可以自行进行代码优化。4.同样的方法 获取识别对象位置,并进行尺寸计算。(2)扑克牌盒尺寸的识别。(1)手机尺寸的识别。

2022-11-23 14:01:11 876

原创 【数据挖掘】使用LightGBM和RandomForest对房屋出租价格的预测

房屋出租价格预测是一个很现实,也很接地气的问题。本文通过爬虫获取的上海出租房屋价格数据,包括50个房屋特征,通过建模分析得到,房屋特征与出租价格之间的相关性。熟悉了本篇数据挖掘的过程,也可以用到其他房产公司的房屋价格统计,买房时的价格预测和定位,或者做房屋数据分析时的统计等方面。通过该案例,不会讲解看房买房租房的方方面面,但可以给读者一个启发,通过这些代码和数据挖掘方法,达到解决问题的目的。

2022-11-22 14:18:13 542 5

原创 【AI】机器学习在工业故障诊断数据上的使用

本篇针对实际数据分别采用传统的机器学习与深度学习进行分类。设计的算法包括LDA,PCA,MLP,LSTM,CNN.希望能对大家带来帮助。

2022-11-07 13:46:28 546

原创 【数据挖掘】机器学习算法建模实操完整流程(基于Kaggle数据集)

大部分初学者在学习机器学习算法的时候,常常使用的是像Boston housing,titanic dataset,Iris data等等这样的赶紧数据集,不需要做太多的数据预处理和特征工程。为此,本篇基于kaggle天气数据集进行整个模型真实建立的过程,让大家对数据挖掘整个流程(数据预处理、特征工程、模型建立、模型评估)有个初步的基本认识。接下来,开始整个模型建立的流程吧。

2022-10-31 16:09:42 404

原创 【Opencv】形态化处理进行物体识别定位

(2)轮廓是矩形的话,获取其最小的外接矩形,得到其四个点的坐标与倾斜角度,进行结果绘制。(1)轮廓是圆的话,获取其最小的外包络圆,得到其圆心与半径,进行结果绘制。流程:打开摄像头–灰度化–高斯滤波–边缘检测–膨胀腐蚀–找到轮廓。

2022-10-31 16:07:12 896

原创 【入门教程】使用pytorch,sklearn,keras实现Boston房价预测

keras,pytorch,sklearn预测

2022-10-19 15:22:26 640

原创 【Keras】使用LSTM预测股票走势

LSTM预测股票数据趋势

2022-10-19 14:22:49 991 3

原创 大数据风控---机器学习在个人征信判别上的应用

风控领域是新兴的机器学习应用场景之一。本文对提供的银行征信数据,包括用户的基本属性、银行流水记录、顾客逾期行为、信用卡账单记录,用户浏览行为记录以及放款信息等数据进行汇总分析,运用决策树DTC、随机森林RFC等算法对用户是否逾期进行建模估计。我将对完整的流程进行详细的演示,希望能够对大家有所帮助。一个完整的模型开发如图所示。开发一个优秀的模型就好比炼制一颗仙丹,在这里我们将炼丹也分解为五大部分:材料准备(灵芝,五倍子,茯苓等)—材料比例调制—炉中炼丹—出炉检验,淘汰次品。...

2022-08-30 09:08:14 714

原创 【数据挖掘】基于粒子群算法优化支持向量机PSO-SVM对葡萄酒数据集进行分类

本篇,介绍了PSO优化算法的原理与迭代步骤,并采用PSO粒子群优化算法寻找支持向量机SVM算法的最佳参数进行分类,并取得了很好的模型效果,供大家参考学习。

2023-02-01 11:12:02 365

原创 【深度学习】经典算法解读及代码复现AlexNet-VGG-GoogLeNet-ResNet(一)

ImageNet数据集是ILSVRC竞赛使用的是数据集,由斯坦福大学李飞飞教授主导,包含了超过1400万张全尺寸的有标记图片,大约有22000个类别的数据。ILSVRC全称ImageNet Large-Scale Visual Recognition Challenge,是视觉领域最受追捧也是最具权威的学术竞赛之一,代表了图像领域的最高水平。从2010年开始举办到2017年最后一届,使用ImageNet数据集的一个子集,总共有1000类。而从2012年起,该项赛事的比赛获胜者都是使用深度学习算法,如下图。当

2023-01-11 10:25:28 60

原创 【深度学习】CNN应用于图像分类的建模全流程

图像分类,也可以称作图像识别,顾名思义,就是辨别图像中的物体属于什么类别。核心是从给定的分类集合中给图像分配一个标签的任务。

2023-01-10 16:35:45 397 3

原创 【深度学习】经典算法解读及代码复现AlexNet-VGG-GoogLeNet-ResNet(二)

到这里,我将经典的深度学习算法AlexNet,VGG,GoogLeNet,ResNet模型进行了原理介绍,以及使用pytorch和tensorflow完成代码的复现,希望对大家有所帮助。

2023-01-07 12:10:22 206

原创 【机器学习之特征工程】数据预处理、特征选择、降维及不平衡处理

什么是特征工程?特征工程解决了什么问题?为什么特征工程对机器学习那么重要?怎么做好特征工程?带着这些问题,我们来看本文的内容。首先,以我的理解回答以上的问题,好让读者有个初步印象,后面,我将通过详细讲解和代码(Sklearn实现)带来直观的感受。特征工程(Feature Engineering)是将原始的数据转换为更好的表达问题本质特征的过程,使得这些特征运用到模型中能提高对不可见的数据的模型预测精度。目的是分解或和并数据,以便更好地表达问题的本质,提高模型的准确度。

2023-01-01 15:58:24 141

原创 【数据分析】MySQL常用语句及实战操作汇总

首先,在使用MySQL之前,弄清楚SQL和MySQL是什么关系?SQL它是一种用于操作数据库的语言。SQL是用于所有数据库的基本语言。不同数据库之间存在较小的语法更改,但基本的SQL语法基本保持不变。SQL是S tructured Q uery Language 的简短缩写。MySQL是一种RDBMS,它允许保持数据库中存在的数据。简单地说,SQL是一种查询语言,而MYSQL是数据库软件。本文主要记录MySQL语言的使用方法,为大家提供方便。

2022-12-19 10:35:39 87

原创 【数据挖掘】Python提取MySQL数据进行线性回归全流程

我们在实际工作中,获取的数据不单单是以txt,csv,xlsx等这样的格式来呈现,经常需要将数据库(Mysql,Oracle等)中大量的数据提取出来,进行分析挖掘。本篇,将以Mysql为例,详细介绍如何用python提取数据库中的数据进行数据挖掘。基本思路是:先连接数据库,然后通过sql语句进行操作,最后对提取的数据,借助sklearn进行建模分析并进行可视化。接下来开始我们完整的数据挖掘案例的流程吧。

2022-12-18 22:05:40 83

原创 【数据挖掘】LSTM和RandomForest对于股票市场的预测

在本篇中,我将为大家分析股票市场的交易策略,如何通过机器学习分析股票市场数据,制定交易策略。我将从技术层面结合业内常识对数据进行数据挖掘。我将使用pandas_datareader来导入我们的数据,这将使我们能够访问几个股票数据的来源,包括雅虎,谷歌。接下来,开启我们的数据挖掘过程吧。从整个过程探索股票市场的交易策略。原始数据的预处理取决于数据和用例需求。然而,每种类型的数据都有特定的标准预处理技术。

2022-12-11 22:50:04 266

原创 【Tensorflow】多层感知器,一维卷积和二维卷积在分类问题的使用区别

Fashion-MNIST 的目的是要成为 MNIST 数据集的一个直接替代品。作为算法作者,你不需要修改任何的代码,就可以直接使用这个数据集。Fashion-MNIST 的图片大小,训练、测试样本数及类别数与经典 MNIST 完全相同。

2022-12-11 22:47:26 150

原创 【机器学习之逻辑回归】sklearn+python逻辑回归详解

逻辑回归也称作logistic回归分析,是一种广义的线性回归分析模型,属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程,但实际上主要是用来解决二分类问题(也可以解决多分类问题)。通过给定的n组数据(训练集)来训练模型,并在训练结束后对给定的一组或多组数据(测试集)进行分类。逻辑回归,是一种“回归”的线性分类器,其本质是由线性回归变化而来的,一种广泛应用于分类问题中的回归算法。我们都知道线性回归是预测连续性标签值,计算方法如下:通过函数y,线性回归使用输入的特征矩阵x来输出一组连续的标签值y

2022-12-06 13:31:51 415

原创 【机器学习之聚类算法】KMeans原理及代码实现

(sklearn+python)聚类算法又叫做“无监督分类”,其目的是将数据划分成有意义或有用的组(或簇)。这种划分可以基于我们的业务需求或建模需求来完成,也可以单纯地帮助我们探索数据的自然结构和分布。比如在商业中,如果我们手头有大量的当前和潜在客户的信息,我们可以使用聚类将客户划分为若干组,以便进一步分析和开展营销活动,最有名的客户价值判断模型RFM,就常常和聚类分析共同使用。

2022-12-05 09:38:16 138

原创 【机器学习之集成算法】RandomForest和XGboost原理介绍与代码实现

集成学习(ensemble learning)是时下非常流行的算法,广泛应用于各种竞赛中,它本身不是一个单独的机器学习算法,而是通过在数据上构建多个模型,集成所有模型的模型结果。基本上所有的机器学习领域都可以看到集成学习的身影,在现实中,集成学习也有相当大的作用,它可以用来做市场营销模拟的建模,统计客户来源、流失,也可以用作预测疾病的风险和患者的感染性,在现在的各种竞赛中,随机森林,梯度提升树,Xgboost等集成算法随处可见。集成算法会考虑多个评估器的建模结果,汇总成一个综合的结果,以此来获取比单个模型

2022-12-01 16:35:35 434

原创 【机器学习之决策树】决策树原理介绍及代码实现sklearn

决策树模型易于理解和解释,可以将树木画出来,能够同时处理各种数据(文本,数字),既可以做分类也可以做回归,并且需要很少的数据准备。但需要注意的是,决策树是贪婪算法,讲究的是局部最优,从而达到整体最优解,往往容易产生过拟合,需要我们对树进行修剪处理。

2022-11-30 17:22:04 528

原创 【机器学习之线性回归】多元线性回归模型的搭建+Lasso回归的特征提取

多元线性回归和Lasso回归都属于线性回归,他们也是经常用到的线性回归模型。本文讲解了多线线性回归如何建模、Lasso回归如何进行特征选择,希望对读者有所帮助。

2022-11-29 20:28:52 583

原创 【姿态估计】MediaPipe部分solution(手势,人体姿态,面部动作)的用法

MediaPipe是个基于图形的跨平台框架,用于构建多模式应用的机器学习管道。MediaPipe可在移动设备,工作站和服务器上跨平台运行,并支持移动GPU加速。使用MediaPipe,可以将应用的机器学习管道构建为模块化组件的图形。MediaPipe专为机器学习从业者而设计包括研究人员,学生,和软件开发人员,他们实施生产就绪的ML应用程序,发布伴随研究工作的代码,以及构建技术原型。MediaPipe的主要用例上使用推理模型和其他可重用组件对应用机器学习管道进行快速原型设计。

2022-11-24 12:52:00 628

原创 【数据挖掘】基于RFM的精细化用户管理

用户价值细分是了解用户价值度的重要途径,而销售型公司中对于订单交易尤为关注,因此基于订单交易的价值度模型将更适合运营需求。针对交易数据分析的常用模型是RFM模型,该模型不仅简单、容易理解,且业务落地能力非常强。因此,本节将基于该模型做数据分析和应用。在RFM的结果中,业务部门希望不仅能对用户做分组,还希望能将每个组的用户特征概括和总结出来,这样便于后续精细化运营不同的客户群体,且根据不同群体做定制化或差异性的营销和关怀。本文的案例数据是某企业2018年的用户订单抽样数据,数据来源于销售系统。

2022-11-20 12:20:46 471

原创 【Pytorch】transforms.Compose,torchvision.datasets.ImageFolder,torch.utils.data.DataLoader的用法

transform:对图片进行预处理的操作(函数),原始图片作为输入,返回一个转换后的图片。torchvision.datasets.ImageFolder 有 root, transform, target_transform, loader四个参数,root:图片存储的根目录,即各类别文件夹所在目录的上一级目录,在下面的例子中是’./train/’。以上,我们加载了152+185=337张图片。展示处理之后的图片,可以看出,图片旋转了20°,并且大小转换为(150,150)定义图片预处理的对象。

2022-11-14 23:24:41 185

原创 【信号处理】滤波器的设计

滤波器的设计

2022-11-14 16:22:53 187

原创 【Pytorch图像分类】搭建卷积神经网络(CNN)和使用迁移学习(Transfer Learning)实现图片识别

图像分类,也可以称作图像识别,顾名思义,就是辨别图像中的物体属于什么类别。核心是从给定的分类集合中给图像分配一个标签的任务。实际上,这意味着我们的任务是分析一个输入图像并返回一个将图像分类的标签。在这里,我们将分别自己搭建卷积神经网路、迁移学习分别对图像数据集进行分类。本篇使用的数据集下载地址为:链接:https://pan.baidu.com/s/1mS4xIf1sr3mhYn-cJNMqjQ提取码:k57iPytorch_datasets文件夹底下包括两个文件夹存放各自的图片数据集。

2022-11-14 15:51:00 656

原创 【Keras图像分类】搭建卷积神经网络(CNN)和使用迁移学习(Transfer Learning)实现图片识别

图像分类,也可以称作图像识别,顾名思义,就是辨别图像中的物体属于什么类别。核心是从给定的分类集合中给图像分配一个标签的任务。实际上,这意味着我们的任务是分析一个输入图像并返回一个将图像分类的标签。在这里,我们将分别自己搭建卷积神经网路、迁移学习分别对图像数据集进行分类。本篇使用的数据集下载地址为:链接:https://pan.baidu.com/s/1soJXb2_UJKeHYT0mpec2Fw提取码:rm3cdatasets文件夹底下包括两个文件夹存放各自的图片数据集。

2022-11-14 15:33:03 419

原创 【Matplotlib+Seaborn】常用图像绘制方法汇总

【代码】【Matplotlib+Seaborn】常用图像绘制方法汇总。

2022-11-07 13:25:08 118

原创 人脸识别的几种方法

【代码】人脸识别的几种方法。

2022-10-31 16:15:45 197

原创 【工业大健康】基于轴承数据集进行机器学习算法分类

针对特定机械设备构建数据驱动的故障诊断模型缺乏泛化能力,而轴承作为各型机械的共有核心部件,对其健康状态的判定对不同机械的衍生故障分析具有普适性意义。

2022-10-31 16:13:53 141

原创 【信号处理】经验模态分解 (Empirical Mode Decomposition)

经验模态分解EMD是基于瞬时频率、本征模态函数(Intrinsic Mode Function,IMF)的概念,能够将复杂信号分解为若干个IMF分量,每个IMF表征信号的局部特征。依据的是数据自身的时间尺度特征来进行信号分解,无需预先设定任何基函数,因此具有自适应性。再通俗一点,EMD就像一台机器,把一堆混在一起的硬币扔进去,他会自动按照1元、5毛、1毛、5分、1分地分成几份。经验模态分解的基本思想:将一个频率不规则的波化为多个单一频率的波+残波的形式。原波形 = ∑ IMFs + 余波。

2022-10-21 11:06:05 494 3

原创 【PyTorch】使用MLP和CNN实现mnist的识别

MNIST 包括6万张28x28的训练样本,1万张测试样本,可以说是CV里的“Hello Word”。本文使用pytorch分别以多层感知器MLP和卷积神经网络CNN两种方法识别mnist数据集。1.2 导入数据集1.3 搭建模型1.4 定义损失函数与优化器1.5 训练模型训练结果展示:测试结果展示:2.2 导入数据集2.3 搭建模型2.4 定义损失函数与优化器2.5 训练模型训练结果展示:测试结果展示:以上,我们完成了MLP和CNN对mnist数据集进行了识

2022-10-19 15:47:05 254

原创 【入门教程】使用pytorch和sklearn分别实现多元线性回归

【代码】【入门教程】使用pytorch和sklearn分别实现多元线性回归。

2022-10-19 14:35:34 370

原创 【入门教程】使用keras实现线性回归

【代码】【入门教程】使用keras实现线性回归。

2022-09-29 16:46:39 528

原创 机器学习(RF,DT,LSTM)在影评数据中的应用

情感分析在自然语言处理NLP领域是复杂的,有主观的,也有客观的。之前,我们使用机器学习各类算法在个人信息数据、借贷数据、手写数字等比较直观的数据集上进行建模。本篇我们将对于电影评论数据进行建模分析,来预测影评是积极的还是消极的;并且,分别演示Tensorflow和Keras使用LSTM在数据集上的建模效果,并与传统的机器学习随机森林RF、决策树DT等算法进行比较,突出LSTM算法的优秀之处。

2022-09-25 22:47:15 291

原创 使用MLP和CNN分别实现手写数字的识别

【代码】使用MLP和CNN分别实现手写数字的识别。

2022-09-11 16:44:49 314

原创 【机器学习】评分卡的制作

在银行借贷场景中,评分卡是一种以分数形式来衡量一个客户的信用风险大小的手段,它衡量向别人借钱的人(受信人,需要融资的公司)不能如期履行合同中的还本付息责任,并让借钱给别人的人(授信人,银行等金融机构)造成经济损失的可能性。一般来说,评分卡打出的分数越高,客户的信用越好,风险越小。这些”借钱的人“,可能是个人,有可能是有需求的公司和企业。对于企业来说,我们按照融资主体的融资用途,分别使用企业融资模型,现金流融资模型,项目融资模型等模型。而对于个人来说,我们有”四张卡“来评判个人的信。

2022-09-11 15:58:50 594 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除