机器学习实战(基于scikit-learn和TensorFlow)学习心得(9)--one-hot encoding

最新推荐文章于 2022-04-22 18:29:53 发布
最新推荐文章于 2022-04-22 18:29:53 发布
阅读量227 收藏
点赞数
分类专栏： 机器学习实战学习心得 文章标签： python 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tomswordyan/article/details/104539747
版权

当我们想在model里训练文字类的数据的时候,比如房子距离海边的距离这种描述(<1H OCEAN,INLAND,ISLAND,NEAR BAY, NEAR OCEAN)我们可以简单的给这五种描述赋值1-5,但结果却不好. 这五种其实是完全不同的五种类型,如果我们用1-5进行编码那么1跟2的相似度肯定要大于1跟5,机器就会产生错觉.为了避免这种误差.
one-hot encoding就派上用场了.
我们假设5个二进制参数,我们把这五种状态赋值
<1H OCEAN 10000
INLAND 01000
ISLAND, 00100
NEAR BAY, 00010
NEAR OCEAN 00001
这样每两个状态之间的欧氏距离就都是相同的了(五维坐标的五个点).
ML也不会产生不必要的误差了.
但是one-hot encoding也有弊端,他占用了太多的数据空间了,如果我们的状态再多一点,比如我们有好几百个位置的文字描述,那么one-hot encoding就不那么精简了.这时候我们要放弃这种描述方式,使用其他的描述方式了.(例如用到海边的精确距离来代替文字描述.)

带刀的骑士
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习实战(基于scikit-learn和TensorFlow)学习心得(8)--SCIKIT-LEARN DESIGN
Tomswordyan的博客
02-26 573
原文及翻译: Scikit-Learn’s API is remarkably well designed. The main design principles are: Consistency. All objects share a consistent and simple interface: Scikit-Learning的API设计得非常好。主要的设计原则是： 一致性。所有对象共享一...
机器学习项目入门篇：一个完整的机器学习项目
qq_36086861的博客
01-16 2万+
本部分，我们会作为被一家地产公司雇佣的数据科学家，完整地学习一个项目。下面是主要步骤： 项目概述。 获取数据。 发现并可视化数据，发现规律。 为机器学习算法准备数据。 选择模型，进行训练。 微调模型。 给出解决方案。 部署、监控、维护系统。 一、项目概述 任务是利用加州普查数据，建立一个加州房价模型。这个数据包含每个分区组的人口、收入中位数、房价中位数等指标。分区组是美国调查局发...
机器学习实战(jupyter)/第一部分第二章/转换器
qq_40102751的博客
07-04 815
转换器 大部分机器学习算法都更容易和数字打交道，所以我们先将这些文本转化为数字。sklearn为这类任务提供了转换器。 要转换的数据 # 加载库 import os import tarfile import pandas as pd from six.moves import urllib DOWNLOAD_ROOT = "https://raw.githubusercontent.com/ageron/handson-ml/master/" HOUSING_PATH = os.path.join("d
机器学习实战 2.5机器学习算法的数据准备
weixin_45853381的博客
04-22 1310
回到一个干净的训练集（再次复制strat_train_set），然后将预测器和标签分开（因为不一定对它们使用相同的转换方式）。 # 获取删除标签列后的数据集 housing = strat_train_set.drop("median_house_value", axis=1) #drop()会创建一个数据副本，但不影响strat_train_set # 标签列 housing_labels = strat_train_set["median_house_value"].copy() 2.5.1 数据
【基础知识】8、加州房价预测项目精细解释
呆呆的猫的博客
08-14 1万+
### 此处选择StatLib的加州房产价格数据集，该数据集是基于1990年加州普查的数据 # 一、项目概览 利用加州普查数据，建立一个加州房价模型，这个数据包含每个街区组的人口、收入的中位数、房价中位数等指标。街区组是美国调查局发布样本数据的最小地理单位（600到3000人），简称“街区”。 ### 目标：模型利用该数据进行学习，然后根据其他指标，预测任何街区的房价...
从一个小实例了解机器学习全过程（《机器学习实战》笔记）
pnd237的博客
05-08 1729
从一个小实例了解机器学习全过程准备工作明确目标选择性能指标查看数据结构 我们通过一个机器学习的小实例来对机器学习技术进行一个初步了解。 准备工作 明确目标 该实例的目的在于通过1990年加州房子的各种特征（如经纬度、该地区收入中位数等）来预测该地区房子价格的中位数。数据集已经上传至文章的附件中（包含地区的房价中位数），很明显这是一个监督式学习任务，并且是一个回归任务。 选择性能指标 回归问题的典型...
scikit-learn-0.12.tar.gz
02-25
Scikit-learn是Python编程语言中的一个强大机器学习库，其0.12版本的源码压缩包"scikit-learn-0.12.tar.gz"包含了大量的算法和工具，适用于数据挖掘、数据分析以及机器学习任务。这个压缩包是Python开发者和数据科学...
scikit-learn-0.9.tar.gz
最新发布
02-25
5. **预处理和特征工程**：提供了数据清洗、标准化、归一化、编码（如独热编码One-Hot Encoding）等功能，为机器学习模型提供合适的输入。 6. **模型选择与评估**：交叉验证（Cross-validation）、网格搜索（Grid ...
lending-club：在LendingClub.com上应用机器学习预测贷款冲销
02-04
在这个项目中，我们将探讨如何利用Python、机器学习库scikit-learn以及数据分析工具pandas来分析LendingClub的贷款数据，并预测贷款是否可能会发生冲销（即违约）。 首先，我们需要理解LendingClub的贷款数据集。...
KaggleTitanicSurvival:Kaggle 项目预测泰坦尼克号乘客的生还。 我使用 scikit-learn 的随机森林进行预测
06-15
在这个名为“KaggleTitanicSurvival”的项目中，我们主要关注的是利用机器学习方法，特别是scikit-learn库中的随机森林算法，来预测泰坦尼克号沉船事件中乘客的生存情况。这是一个经典的入门级数据科学竞赛，旨在...
Python-使用自动特征工程预测客户的下一次采购
08-11
8. **使用机器学习库**：scikit-learn库提供了大量的机器学习模型，如随机森林、梯度提升机、支持向量机等，可以用于训练模型预测客户的下一次采购。还可以使用XGBoost和LightGBM等现代库，它们在特征工程方面有内置...
[Hands On ML] 2. 一个完整的机器学习项目（加州房价预测）
Michael是个半路程序员
06-09 4320
本文为《机器学习实战：基于Scikit-Learn和TensorFlow》的读书笔记。 1. 项目介绍 利用加州普查数据，建立一个加州房价模型。 数据包含每个街区组的人口、收入中位数、房价中位数等指标。 利用这个数据进行学习，然后根据其它指标，预测任何街区的的房价中位数。 2. 性能指标 均方根误差（RMSE）: RMSE⁡(X,h)=1m∑i=1m(h(x(i))−y(i))2\operatorname{RMSE}(\mathbf{X}, h)=\sqrt{\frac{1}{m} \sum\limits_
《机器学习实战》第二章 端到端的机器学习项目①
qq_35059338的博客
07-10 322
《机器学习实战》第二章 端到端的机器学习项目① 文章目录《机器学习实战》第二章 端到端的机器学习项目①选择性能指标快速查看数据创建测试集完全的随机划分随机生成数种子random.seed()hashlibScikit-Learn提供的函数分层抽样划分从数据探索和可视化中获得洞见corr()方法来计算每对属性之间的标准相关系数scatter_matrix()显示各属性之间的依赖关系机器学习算法的数据准备数据清理处理文本和分类属性LabelEncoder转换器OneHotEncoder编码器自定义转换器特征缩放
机器学习实战——房价预测完整案例（建议收藏慢慢品）
热门推荐
向日葵的专属太阳
05-11 7万+
文章目录获取数据查看数据结构 获取数据 下载数据可以直接通过浏览器下载压缩包，也可以通过函数来进行。 import os import tarfile import urllib.request DOWNLOAD_ROOT = "https://raw.githubusercontent.com/ageron/handson-ml2/master/" HOUSING_PATH = os.path.join("datasets", "housing") # datasets\test HOUSING_
机器学习项目的实例分析设计（附源码）
快乐清风客的专栏
05-23 2万+
摘要说明： 在学习“Hands-On Machine Learning with Scikit-Learn & TensorFlow”中，其中一些机器学习的思考和处理方式很具有项目级开发的特点，值得推荐。我在原文提供的实例基础上，结合自己的分析，模拟了一个机器学习项目的分析和实现过程，包括项目分析，数据分析，模型分析，性能分析等，在原文的样本代码基础上，编写了完整的可全面自动化运行的代码，供大家一起参考。（文章后面将提供源码的 github 地址）
加州房价篇 (二) : 处理数据
Fluencity的博客
04-12 562
现在是时候对数据动一动手脚了 运行本篇文章代码时必须先运行加州房价篇 (一) : 了解数据中的所有代码 在正式处理数据之前,我们需要先把median_house_value(地区房屋均价)这一特征摘出来，这是我们的目标，无需处理 housing_target = housing["median_house_value"].copy() housing = housing.drop("median_house_value", axis=1) 处理数据 还记得我们在加州房价篇 (一) : 了解数据中一开始
sklearn处理文本和分类属性的方式
jediael_lu的专栏
07-16 430
文章目录类别转换成数字类别one-hot 类别转换成数字 我们看一下文本属性。在此数据集中，只有一个：ocean_proximity属性： housing_cat = housing[['ocean_proximity']] sklearn.utils.shuffle(housing_cat).head() ocean_proximity 10763 <1H OCEAN
机器学习数据预处理1：独热编码（One-Hot）及其代码
梦Dancing的博客
04-27 5万+
1. 为什么使用 one-hot 编码？ 问题： 在机器学习算法中，我们经常会遇到分类特征，例如：人的性别有男女，祖国有中国，美国，法国等。 这些特征值并不是连续的，而是离散的，无序的。 目的： 如果要作为机器学习算法的输入，通常我们需要对其进行特征数字化。什么是特征数字化呢？例如： 性别特征：["男"，"女"] ...
机器学习实战(基于scikit-learn和TensorFlow)学习心得(18)--Polynomial Regression 多项式回归和学习曲线
Tomswordyan的博客
03-06 394
假设我们的系统散点是这样的 从图中可以看出,这个分布形似二次函数,只单纯的使用线性回归去拟合数据是肯定不合适的.所以说我们要把单纯的一次线性回归扩展成多次多项式回归. 如何使线性回归扩展成多项式回归呢?一种简单的方法是将每个feature都扩展为多次项，然后在此扩展上训练线性模型。 原线性回归方程是:y=a(x1)+b(x2)+1 二次多项式方程是:y=c(x1)^2 +d(x2)^2+a(x1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值