工业之特征工程

最新推荐文章于 2024-09-23 08:46:32 发布

@荒~

最新推荐文章于 2024-09-23 08:46:32 发布

阅读量348

点赞数 9

文章标签：机器学习算法

本文链接：https://blog.csdn.net/weixin_45717863/article/details/135562736

版权

特征工程

工业互联--智能工厂，大数据分析不可避免，而特征工程作为模型构建最最最重要的一个环节，同时业务人员和专业人员相互协作同样重要。下面给出一份特征工程的知识图谱。
图片: ![Alt](在这里插入图片描述

https://img-home.csdnimg.cn/images/20220524100510.png)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

@荒~

关注关注

9
点赞
踩
8

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

工业工程的内涵.pptx

01-18

工业工程点点通

Spark数据处理与特征工程

01-07

现在可以用spark来做大数据上的数据处理，比如数据工程、监督学习、无监督学习模型的构建，只要计算资源够就OK。【大数据底层做分布式处理】注意：spark基于RDD形态、DataFrame形态两种形态的工具库，其中基于RDD...

1 条评论您还未登录，请先登录后发表或查看评论

特征工程

mayanli123的博客

08-25

3485

一、特征工程简介二、特征构建三、数据预处理四、特征选择五、特征提取一、特征工程简介 1.1特征工程是什么？ 特征工程是这样一个过程：将数据转换为能更好地表示潜在问题的特征，从而提高机器学习性能。 特征工程就是一个把原始数据转变成特征的过程，这些特征可以很好的描述这些数据，并且利用它们建立的模型在未知数据上的表现性能可以达到最优（或者接近最佳性能）。从数学的角度来看，特征工程就是人工地去...

工业蒸汽量预测-特征工程

L1142456160的博客

10-09

1607

本篇是《阿里云天池大赛赛题解析-机器学习篇》的第一部分工业蒸汽量预测的第三章-特征工程的内容，并附带了一些知识点的网页链接。内有数据预处理、特征降维等内容。

特征工程的基本流程

Lavi的专栏

05-15

2280

特征工程的基本流程0 前言1 数据采集 / 清洗 / 采样2 特征处理2.1 数值型2.2 类别型2.3 时间型2.4 文本型2.5 统计型2.6 组合特征3 特征选择3.1 过滤型3.2 包裹型3.3 嵌入型 0 前言特征是数据中抽取出来的对结果预测有用的信息，可以是文本或者数据。特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征...

机器学习之特征工程

yeal

01-02

3780

做了一段机器学的东西，一直对特征这块很模糊，有时候凭感觉在找特征，然后做一些简单的变换。这篇文章的目的是系统的讲解特征的获取过程，因为在机器学习的过程中，其实数据特征才是限制模型效果的东西，很重要。特征是数据中抽取出来的对结果预测有用的信息，可以是文本或者数据。特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块...

ctr预估之特征工程

bitcarmanlee的博客

03-23

8939

互联网广告综述之点击率特征工程 一．互联网广告特征工程 博文《互联网广告综述之点击率系统》论述了互联网广告的点击率系统，可以看到，其中的logistic regression模型是比较简单而且实用的，其训练方法虽然有多种，但目标是一致的，训练结果对效果的影响是比较大，但是训练方法本身，对效果的影响却不是决定性的，因为训练的是每个特征的权重，权重细微的差别不会引起ctr的巨大变化。在训练方法

天池学习赛：工业蒸汽量预测2——特征工程

小屋

03-18

1091

目录1.特征工程1.1 预处理1.2 特征处理1.3 特征降维2.赛题代码 1.特征工程一般流程： 1.去掉无用特征 2.去掉冗余特征 3.利用存在的特征、特征转换、内容中的特征以及其他数据源生成新特征 4.特征转换（数值化、类别转换、归一化） 5.特征处理（异常值、最大值、最小值、缺失值） 1.1 预处理数据采集，清洗，采样。正样本>负样本，若样本量特别大，采用下采样；正样本>负样本，若样本量不大，采用上采样（图像上的旋转镜像操作） 1.2 特征处理采用sklearn自带数据库进行学习：

数据挖掘--特征工程

jainszhang的博客

06-04

4311

（一）特征工程需要根据实际的业务场景进行处理---数据与特征处理1. 数据选择/清洗/采样2. 数值型/类别型/日期型/文本型特征处理3. 组合特征处理---特征选择1. Filter/Wrapper/Embedded 三种特征选择方式及开发包/案例特征：数据中抽取出来的对结果预测有用的信息特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程意义：更...

推荐系统与特征工程

固本培元的专栏

06-27

2662

转自：http://www.sohu.com/a/157884400_470008本文是大数据杂谈 7 月 13 日社群公开课分享整理，也是第四范式主题月的第二堂公开课内容。今天想和大家分享，如何使用大规模机器学习解决真实的业务问题。我们今天会以机器学习中的一个典型场景为例来讲解，即基于大规模机器学习模型的推荐系统。推荐系统的本质是什么？比如说我们看到手机淘宝首页，往下一拉，就能看到各种各样推荐的...

机器学习之特征工程（一）

leiting_imecas的博客

02-11

3523

一什么是特征工程 特征是指数据中抽取出来的对结果预测有用的信息 特征工程是使用专业背景和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。 特征工程的意义：1.更好的特征意味着更强的灵活性 2更好的特征意味着只需要简单模型 3更好的特征意味着更好的结果应用机器学习的主要工作就是特征工程 数据和特征决定了算法能达到的上限，算法和模型的选择只是无限接近这个上限

南京工业大学《软件工程》期末考试复习资料汇总.pdf

06-21

南京工业大学的《软件工程》课程期末考试复习资料汇总，为我们提供了一套完整的学习提纲，覆盖了软件工程的多个重要知识点。首先，软件工程的目的非常明确，就是对软件的成本、进度和质量进行有效控制。软件作为...

传统工业工程与现代工业工程的区别.docx

10-24

现代工业工程创新体系包含新理念，如绿色制造、智能制造、服务工程等，以及新特征，如集成化、网络化、智能化。在制造系统层面，现代IE强调从单一的产品制造向提供整体解决方案转变。在企业管理系统层面，现代IE推动...

特征工程常用方法

向着光的那方

04-03

2126

特征工程 ●特征(feature) :数据中抽取出来的对结果预测有用的信息。 ●特征的个数就是数据的观测维度 ●特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程， ●特征工程一般包括特征清洗(采样、清洗异常样本)，特征处理和特征选择 ●特征按照不同的数据类型分类，有不同的特征处理方法 ---数值型 ---类别型 ...

python 实现area under curve曲线下面积算法

最新发布

luthane的博客

09-23

1181

Area Under Curve”（AUC）曲线下面积算法主要用于衡量二元分类模型的性能，特别是在机器学习和统计中。AUC 主要与 ROC（Receiver Operating Characteristic）曲线相关联，ROC 曲线是一种图形化方法，用于展示在不同分类阈值下真正例率（TPR，也称为灵敏度或召回率）与假正例率（FPR）之间的关系。AUC 则是 ROC 曲线下的面积，用于量化分类器的性能。AUC 的计算方法AUC 的计算方法有几种，但核心思想都是基于 ROC 曲线上的点。

✨机器学习笔记（五）—— 神经网络，前向传播，TensorFlow

qq_53569667的博客

09-20

1099

吴恩达机器学习笔记，简单介绍了神经网络（感知机）概念和实现原理，以及前向传播和其代码实现，并介绍用 TensorFlow 搭建一个神经网络模型。

机器学习查漏补缺(3)

garrulousabyss的博客

09-22

812

[E] Why does an ML model’s performance degrade in production?There are several reasons why a machine learning model's performance might degrade in production:[M] What problems might we run into when deploying large machine learning models?Common MCMC algor

机器学习-监督学习：朴素贝叶斯分类器

jun778895的博客

09-19

885

在机器学习的广阔领域中，监督学习占据着核心地位，它通过已知的数据集（包括输入和输出）来训练模型，以期对新的、未见过的数据做出准确的预测。朴素贝叶斯分类器，作为监督学习中的一种经典算法，凭借其简洁的理论基础和高效的计算能力，在文本分类、情感分析、垃圾邮件识别等多个领域展现出了强大的应用价值。朴素贝叶斯分类器作为一种简单而强大的监督学习算法，在多个领域展现出了广泛的应用前景。随着机器学习技术的不断发展，朴素贝叶斯分类器也在不断地改进和完善，以适应更加复杂和多样化的应用场景。

工业蒸汽量预测特征工程 python

09-16

工业蒸汽量预测通常是通过时间序列分析结合机器学习的方法来进行。特征工程在这个过程中扮演关键角色，它涉及到从原始数据中提取、转换和创建新的特征，以便于模型理解和预测。以下是进行此类预测时常见的Python特征工程步骤： 1. 数据清洗：处理缺失值、异常值，确保数据质量。可以使用pandas库进行数据预处理。 2. 时间戳处理：将日期时间数据转化为适合模型训练的形式，例如按天、周、月等频率采样，或者使用滞后特征（lag features），如前一时刻的蒸汽量。 3. 特征选择：评估哪些变量对蒸汽量影响较大，可能是基于统计显著性、相关性或领域知识。常用的库有SelectKBest、RFE等。 4. 转换数值特征：对非数值特征进行编码，比如类别特征可以用one-hot编码（pandas.get_dummies），连续特征可以归一化或标准化。 5. 创建新特征：可能会根据业务逻辑生成技术指标（如移动平均线、指数平滑等）、趋势特征或周期性特征。 6. 特征交互：有时两个或更多特征组合起来会有更好的预测效果，可以考虑创建交叉特征。 7. 时间序列特征：针对时间序列数据，可能会用到季节性分解（STL）、自回归整合移动平均模型（ARIMA）等方法生成的特征。 8. 特征工程结果可视化：使用matplotlib或seaborn检查特征之间的相关性和分布情况，以便理解它们对目标变量的影响。完成上述步骤后，可以将整理好的特征输入到模型中，如支持向量机、随机森林、神经网络或专门的时间序列模型（如LSTM或Prophet）。