- 博客(41)
- 收藏
- 关注
RSS订阅
原创 【数据挖掘】基于粒子群算法优化支持向量机PSO-SVM对葡萄酒数据集进行分类
本篇，介绍了PSO优化算法的原理与迭代步骤，并采用PSO粒子群优化算法寻找支持向量机SVM算法的最佳参数进行分类，并取得了很好的模型效果，供大家参考学习。
2023-02-01 11:12:02
4541
5
原创 【深度学习】CNN应用于图像分类的建模全流程
图像分类，也可以称作图像识别，顾名思义，就是辨别图像中的物体属于什么类别。核心是从给定的分类集合中给图像分配一个标签的任务。
2023-01-10 16:35:45
5274
15
原创 【Opencv】形态化处理识别物体的大小
已知白色背景的大小为30mm（目测30mm,没有测量，更注重讲解方法），其所占的像素假设为Z，通过opencv可以获取内部手机边长像素大小为Z’，所以可以求取其长度为y’ = (Z’/Z)*30。本文选取白色背景和识别对象采用的方法一样，我们可以讲其定义为函数，进行调用。这部分不再多述，读者可以自行进行代码优化。4.同样的方法 获取识别对象位置，并进行尺寸计算。（2）扑克牌盒尺寸的识别。（1）手机尺寸的识别。
2022-11-23 14:01:11
4608
原创 【数据挖掘】使用LightGBM和RandomForest对房屋出租价格的预测
房屋出租价格预测是一个很现实，也很接地气的问题。本文通过爬虫获取的上海出租房屋价格数据，包括50个房屋特征，通过建模分析得到，房屋特征与出租价格之间的相关性。熟悉了本篇数据挖掘的过程，也可以用到其他房产公司的房屋价格统计，买房时的价格预测和定位，或者做房屋数据分析时的统计等方面。通过该案例，不会讲解看房买房租房的方方面面，但可以给读者一个启发，通过这些代码和数据挖掘方法，达到解决问题的目的。
2022-11-22 14:18:13
2128
17
原创 【AI】机器学习在工业故障诊断数据上的使用
本篇针对实际数据分别采用传统的机器学习与深度学习进行分类。设计的算法包括LDA,PCA,MLP,LSTM,CNN.希望能对大家带来帮助。
2022-11-07 13:46:28
1577
原创 【数据挖掘】机器学习算法建模实操完整流程（基于Kaggle数据集）
大部分初学者在学习机器学习算法的时候，常常使用的是像Boston housing，titanic dataset，Iris data等等这样的赶紧数据集，不需要做太多的数据预处理和特征工程。为此，本篇基于kaggle天气数据集进行整个模型真实建立的过程，让大家对数据挖掘整个流程（数据预处理、特征工程、模型建立、模型评估）有个初步的基本认识。接下来，开始整个模型建立的流程吧。
2022-10-31 16:09:42
1794
原创 【Opencv】形态化处理进行物体识别定位
（2）轮廓是矩形的话，获取其最小的外接矩形，得到其四个点的坐标与倾斜角度，进行结果绘制。（1）轮廓是圆的话，获取其最小的外包络圆，得到其圆心与半径，进行结果绘制。流程：打开摄像头–灰度化–高斯滤波–边缘检测–膨胀腐蚀–找到轮廓。
2022-10-31 16:07:12
3080
3
原创 大数据风控---机器学习在个人征信判别上的应用
风控领域是新兴的机器学习应用场景之一。本文对提供的银行征信数据，包括用户的基本属性、银行流水记录、顾客逾期行为、信用卡账单记录，用户浏览行为记录以及放款信息等数据进行汇总分析，运用决策树DTC、随机森林RFC等算法对用户是否逾期进行建模估计。我将对完整的流程进行详细的演示，希望能够对大家有所帮助。一个完整的模型开发如图所示。开发一个优秀的模型就好比炼制一颗仙丹，在这里我们将炼丹也分解为五大部分：材料准备（灵芝，五倍子，茯苓等）—材料比例调制—炉中炼丹—出炉检验，淘汰次品。...
2022-08-30 09:08:14
1343
原创 【RNN详解】SimpleRNN，LSTM，bi-LSTM的原理及Tensorflow实现
RNN是一种特殊的神经网络结构，它是根据“人的认知是基于过往的经验和记忆”这一观点提出的，它与DNN，CNN不同的是：它不仅考虑前一时刻的输入，而且赋予了网络对前面内容的一种“记忆”功能，对于处理序列数据比较友好。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
2023-02-15 09:15:24
1945
原创 【计算机视觉】Openvino给yolov5目标检测提速实战
要使用它，你需要一个预先训练好的深度学习模型，支持的格式有:TensorFlow、PyTorch、PaddlePaddle、MXNet、Caffe、Kaldi或ONNX，本文选用的是yolov5官方预训练模型yolov5n.pt，读者可以训练自己的预训练模型。模型优化器将模型转换为OpenVINO中间表示格式(IR)，稍后您可以使用OpenVINO™运行时进行推断。注意，模型优化器不推断模型。下图说明了部署经过训练的深度学习模型的典型工作流。
2023-02-05 10:55:07
3654
6
原创 【深度学习】经典算法解读及代码复现AlexNet-VGG-GoogLeNet-ResNet(一)
ImageNet数据集是ILSVRC竞赛使用的是数据集，由斯坦福大学李飞飞教授主导，包含了超过1400万张全尺寸的有标记图片，大约有22000个类别的数据。ILSVRC全称ImageNet Large-Scale Visual Recognition Challenge，是视觉领域最受追捧也是最具权威的学术竞赛之一，代表了图像领域的最高水平。从2010年开始举办到2017年最后一届，使用ImageNet数据集的一个子集，总共有1000类。而从2012年起，该项赛事的比赛获胜者都是使用深度学习算法，如下图。当
2023-01-11 10:25:28
1077
1
原创 【深度学习】经典算法解读及代码复现AlexNet-VGG-GoogLeNet-ResNet(二)
到这里，我将经典的深度学习算法AlexNet，VGG，GoogLeNet，ResNet模型进行了原理介绍，以及使用pytorch和tensorflow完成代码的复现，希望对大家有所帮助。
2023-01-07 12:10:22
576
原创 【机器学习之特征工程】数据预处理、特征选择、降维及不平衡处理
什么是特征工程？特征工程解决了什么问题？为什么特征工程对机器学习那么重要？怎么做好特征工程？带着这些问题，我们来看本文的内容。首先，以我的理解回答以上的问题，好让读者有个初步印象，后面，我将通过详细讲解和代码(Sklearn实现)带来直观的感受。特征工程（Feature Engineering）是将原始的数据转换为更好的表达问题本质特征的过程，使得这些特征运用到模型中能提高对不可见的数据的模型预测精度。目的是分解或和并数据，以便更好地表达问题的本质，提高模型的准确度。
2023-01-01 15:58:24
2710
原创 【数据分析】MySQL常用语句及实战操作汇总
首先，在使用MySQL之前，弄清楚SQL和MySQL是什么关系？SQL它是一种用于操作数据库的语言。SQL是用于所有数据库的基本语言。不同数据库之间存在较小的语法更改，但基本的SQL语法基本保持不变。SQL是S tructured Q uery Language 的简短缩写。MySQL是一种RDBMS，它允许保持数据库中存在的数据。简单地说，SQL是一种查询语言，而MYSQL是数据库软件。本文主要记录MySQL语言的使用方法，为大家提供方便。
2022-12-19 10:35:39
613
原创 【数据挖掘】Python提取MySQL数据进行线性回归全流程
我们在实际工作中，获取的数据不单单是以txt，csv，xlsx等这样的格式来呈现，经常需要将数据库(Mysql,Oracle等)中大量的数据提取出来，进行分析挖掘。本篇，将以Mysql为例，详细介绍如何用python提取数据库中的数据进行数据挖掘。基本思路是：先连接数据库，然后通过sql语句进行操作，最后对提取的数据，借助sklearn进行建模分析并进行可视化。接下来开始我们完整的数据挖掘案例的流程吧。
2022-12-18 22:05:40
902
原创 【数据挖掘】LSTM和RandomForest对于股票市场的预测
在本篇中，我将为大家分析股票市场的交易策略，如何通过机器学习分析股票市场数据，制定交易策略。我将从技术层面结合业内常识对数据进行数据挖掘。我将使用pandas_datareader来导入我们的数据，这将使我们能够访问几个股票数据的来源，包括雅虎，谷歌。接下来，开启我们的数据挖掘过程吧。从整个过程探索股票市场的交易策略。原始数据的预处理取决于数据和用例需求。然而，每种类型的数据都有特定的标准预处理技术。
2022-12-11 22:50:04
3003
1
原创 【Tensorflow】多层感知器，一维卷积和二维卷积在分类问题的使用区别
Fashion-MNIST 的目的是要成为 MNIST 数据集的一个直接替代品。作为算法作者，你不需要修改任何的代码，就可以直接使用这个数据集。Fashion-MNIST 的图片大小，训练、测试样本数及类别数与经典 MNIST 完全相同。
2022-12-11 22:47:26
630
原创 【机器学习之逻辑回归】sklearn+python逻辑回归详解
逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。逻辑回归，是一种“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛应用于分类问题中的回归算法。我们都知道线性回归是预测连续性标签值，计算方法如下：通过函数y，线性回归使用输入的特征矩阵x来输出一组连续的标签值y
2022-12-06 13:31:51
5330
原创 【机器学习之聚类算法】KMeans原理及代码实现
(sklearn+python)聚类算法又叫做“无监督分类”，其目的是将数据划分成有意义或有用的组（或簇）。这种划分可以基于我们的业务需求或建模需求来完成，也可以单纯地帮助我们探索数据的自然结构和分布。比如在商业中，如果我们手头有大量的当前和潜在客户的信息，我们可以使用聚类将客户划分为若干组，以便进一步分析和开展营销活动，最有名的客户价值判断模型RFM，就常常和聚类分析共同使用。
2022-12-05 09:38:16
2049
原创 【机器学习之集成算法】RandomForest和XGboost原理介绍与代码实现
集成学习（ensemble learning）是时下非常流行的算法，广泛应用于各种竞赛中，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的模型结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中，集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源、流失，也可以用作预测疾病的风险和患者的感染性，在现在的各种竞赛中，随机森林，梯度提升树，Xgboost等集成算法随处可见。集成算法会考虑多个评估器的建模结果，汇总成一个综合的结果，以此来获取比单个模型
2022-12-01 16:35:35
2014
原创 【机器学习之决策树】决策树原理介绍及代码实现sklearn
决策树模型易于理解和解释，可以将树木画出来,能够同时处理各种数据(文本,数字)，既可以做分类也可以做回归，并且需要很少的数据准备。但需要注意的是，决策树是贪婪算法，讲究的是局部最优,从而达到整体最优解,往往容易产生过拟合，需要我们对树进行修剪处理。
2022-11-30 17:22:04
2927
原创 【机器学习之线性回归】多元线性回归模型的搭建+Lasso回归的特征提取
多元线性回归和Lasso回归都属于线性回归，他们也是经常用到的线性回归模型。本文讲解了多线线性回归如何建模、Lasso回归如何进行特征选择，希望对读者有所帮助。
2022-11-29 20:28:52
3642
原创 【姿态估计】MediaPipe部分solution(手势，人体姿态，面部动作)的用法
MediaPipe是个基于图形的跨平台框架，用于构建多模式应用的机器学习管道。MediaPipe可在移动设备，工作站和服务器上跨平台运行，并支持移动GPU加速。使用MediaPipe，可以将应用的机器学习管道构建为模块化组件的图形。MediaPipe专为机器学习从业者而设计包括研究人员，学生，和软件开发人员，他们实施生产就绪的ML应用程序，发布伴随研究工作的代码，以及构建技术原型。MediaPipe的主要用例上使用推理模型和其他可重用组件对应用机器学习管道进行快速原型设计。
2022-11-24 12:52:00
6777
1
原创 【数据挖掘】基于RFM的精细化用户管理
用户价值细分是了解用户价值度的重要途径，而销售型公司中对于订单交易尤为关注，因此基于订单交易的价值度模型将更适合运营需求。针对交易数据分析的常用模型是RFM模型，该模型不仅简单、容易理解，且业务落地能力非常强。因此，本节将基于该模型做数据分析和应用。在RFM的结果中，业务部门希望不仅能对用户做分组，还希望能将每个组的用户特征概括和总结出来，这样便于后续精细化运营不同的客户群体，且根据不同群体做定制化或差异性的营销和关怀。本文的案例数据是某企业2018年的用户订单抽样数据，数据来源于销售系统。
2022-11-20 12:20:46
755
1
原创 【Pytorch】transforms.Compose，torchvision.datasets.ImageFolder，torch.utils.data.DataLoader的用法
transform：对图片进行预处理的操作（函数），原始图片作为输入，返回一个转换后的图片。torchvision.datasets.ImageFolder 有 root, transform, target_transform, loader四个参数，root：图片存储的根目录，即各类别文件夹所在目录的上一级目录，在下面的例子中是’./train/’。以上，我们加载了152+185=337张图片。展示处理之后的图片，可以看出，图片旋转了20°，并且大小转换为（150，150）定义图片预处理的对象。
2022-11-14 23:24:41
1799
原创 【Pytorch图像分类】搭建卷积神经网络（CNN）和使用迁移学习（Transfer Learning）实现图片识别
图像分类，也可以称作图像识别，顾名思义，就是辨别图像中的物体属于什么类别。核心是从给定的分类集合中给图像分配一个标签的任务。实际上，这意味着我们的任务是分析一个输入图像并返回一个将图像分类的标签。在这里，我们将分别自己搭建卷积神经网路、迁移学习分别对图像数据集进行分类。本篇使用的数据集下载地址为：链接：https://pan.baidu.com/s/1mS4xIf1sr3mhYn-cJNMqjQ提取码：k57iPytorch_datasets文件夹底下包括两个文件夹存放各自的图片数据集。
2022-11-14 15:51:00
3164
4
原创 【Keras图像分类】搭建卷积神经网络（CNN）和使用迁移学习（Transfer Learning）实现图片识别
图像分类，也可以称作图像识别，顾名思义，就是辨别图像中的物体属于什么类别。核心是从给定的分类集合中给图像分配一个标签的任务。实际上，这意味着我们的任务是分析一个输入图像并返回一个将图像分类的标签。在这里，我们将分别自己搭建卷积神经网路、迁移学习分别对图像数据集进行分类。本篇使用的数据集下载地址为：链接：https://pan.baidu.com/s/1soJXb2_UJKeHYT0mpec2Fw提取码：rm3cdatasets文件夹底下包括两个文件夹存放各自的图片数据集。
2022-11-14 15:33:03
2194
1
原创 【工业大健康】基于轴承数据集进行机器学习算法分类
针对特定机械设备构建数据驱动的故障诊断模型缺乏泛化能力，而轴承作为各型机械的共有核心部件，对其健康状态的判定对不同机械的衍生故障分析具有普适性意义。
2022-10-31 16:13:53
1021
2
原创 【信号处理】经验模态分解 （Empirical Mode Decomposition）
经验模态分解EMD是基于瞬时频率、本征模态函数(Intrinsic Mode Function,IMF)的概念，能够将复杂信号分解为若干个IMF分量，每个IMF表征信号的局部特征。依据的是数据自身的时间尺度特征来进行信号分解，无需预先设定任何基函数，因此具有自适应性。再通俗一点，EMD就像一台机器，把一堆混在一起的硬币扔进去，他会自动按照1元、5毛、1毛、5分、1分地分成几份。经验模态分解的基本思想：将一个频率不规则的波化为多个单一频率的波+残波的形式。原波形 = ∑ IMFs + 余波。
2022-10-21 11:06:05
4186
4
原创 【PyTorch】使用MLP和CNN实现mnist的识别
MNIST 包括6万张28x28的训练样本，1万张测试样本，可以说是CV里的“Hello Word”。本文使用pytorch分别以多层感知器MLP和卷积神经网络CNN两种方法识别mnist数据集。1.2 导入数据集1.3 搭建模型1.4 定义损失函数与优化器1.5 训练模型训练结果展示：测试结果展示：2.2 导入数据集2.3 搭建模型2.4 定义损失函数与优化器2.5 训练模型训练结果展示：测试结果展示：以上，我们完成了MLP和CNN对mnist数据集进行了识
2022-10-19 15:47:05
1391
原创 【入门教程】使用pytorch和sklearn分别实现多元线性回归
【代码】【入门教程】使用pytorch和sklearn分别实现多元线性回归。
2022-10-19 14:35:34
1647
原创 机器学习（RF,DT,LSTM）在影评数据中的应用
情感分析在自然语言处理NLP领域是复杂的，有主观的，也有客观的。之前，我们使用机器学习各类算法在个人信息数据、借贷数据、手写数字等比较直观的数据集上进行建模。本篇我们将对于电影评论数据进行建模分析，来预测影评是积极的还是消极的；并且，分别演示Tensorflow和Keras使用LSTM在数据集上的建模效果，并与传统的机器学习随机森林RF、决策树DT等算法进行比较，突出LSTM算法的优秀之处。
2022-09-25 22:47:15
1065
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人