测试集出现新类别时OnehotEncoder报错解决

已于 2022-03-30 17:43:25 修改
阅读量1.1k 收藏
点赞数 1
文章标签： python
于 2022-03-22 20:18:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63168931/article/details/123670126
版权

测试集编码 独热编码 未知类别 OneHotEncoder 机器学习
关键词由CSDN通过智能技术生成

今天在学习机器学习时候发现了error

一直提示我无法transform

首先我们要明确测试集的新类别的占比应该是比较小的，如果占比很大可能模型的效果会比较差也可能是在分割测试集和训练集的时候没有做好

解决这个问题有两种方法

1.第一种是将测试集和训练集合并这样来进行独热编码这样可以保证所有的类别都出现在里面

如果还不行的话

这一种直接

data=train+test

2.可以试试第二种

OneHotEncoder(handle_unknown = "ignore")

忽略未知的值这样也能够正常运行

爱踢球的猕猴桃
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
解决sklearn中使用OrdinalEncoder编码测试集的类别特征中的未知类别时会报错的问题
12-21
然而，`OrdinalEncoder`的一个局限性是，如果在测试集上遇到训练集中未出现的新类别，它会抛出错误，因为编码器并不知道如何为这些未知类别分配合适的数值。 在`sklearn`的`OrdinalEncoder`实现中，`fit_transform...
MATLAB实现对序列数据的onehot编码
04-19
用MATLAB对碱基序列类型的生物数据进行onehot编码，对每一个碱基数据编码成四维数据，并求出m*n阶编码矩阵的奇异值，以期可以后续用奇异值表征编码矩阵
在预测单个数据实例时，功能与OneHotEncoder不匹配
hzp666的博客
11-26 202
提问于 十二月 14, 2018浏览 1339 次0onehotencoder如何用于单个值预测错误Msg- ValueError：模型的要素数必须与输入匹配 . 模型n_features为1261，输入n_features为16我正在训练文本数据的随机森林分类器 . 我正在为每个文本数据实例计算16个功能 . 由于所有这16个变量都被分类，我使用。
scikit-learn中的OneHotEncoder用法小结
热门推荐
qq_35436571的博客
07-18 1万+
OneHotEncoder 可用于将分类特征的每个元素转化为一个可直接计算的数值，也即特征值数字化，常用于特征工程中的数据预处理。 其本质是One-Hot编码在scikit-learn中的实现。 One-Hot One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候只有一位有效。 One-Hot编码是分类变量作为二进制向量...
One-HOT编码处理训练集中没遇到过的特征值的方法handle_unknown
lizz2276的博客
05-22 1256
Another possibility to convert categorical features to features that can be used with scikit-learn estimators is to use a one-of-K, also known as one-hot or dummy encoding. This type of encoding can be obtained with theOneHotEncoder, which transforms each.
在对标签数据进行独热编码时遇到NotFoundError: Could not find valid device for node. Node:{{node OneHot}}
yin2567588841的博客
04-15 1579
遇到的错误 NotFoundError: Could not find valid device for node. Node:{{node OneHot}} All kernels registered for op OneHot : device='GPU'; TI in [DT_UINT8]; T in [DT_HALF] device='GPU'; TI in [DT_INT32]...
字符编码OneHotEncoder
hzp666的博客
11-21 438
可以看到，这时候4，被编码成[0,0,0,0]，这样虽然不会报错，但是会造成一定的信息损失，因此，如果需要构建模型，之前踩坑场景：GBDT+LR复合模型，对数据落在GBDT中每颗树的叶子结点下标进行独热编码，再放入LR中构建模型；2、使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。这个方法其实和OneHotEncoder差不多，但是不能训练数据，因此无法入模使用，只能用于数据分析。注意：Quantity列为数值型，并没有编码，编码的都是字符串型。
对python 数据处理中的LabelEncoder 和 OneHotEncoder详解
09-20
今天小编就为大家分享一篇对python 数据处理中的LabelEncoder 和 OneHotEncoder详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
epson系列打印机报错全集及解决办法
08-13
### Epson系列打印机报错全集及解决办法 在日常使用Epson系列打印机的过程中，可能会遇到各种错误代码提示，这些代码往往预示着打印机内部出现了一些问题。了解这些错误代码的具体含义及其解决方法，对于及时排除...
对python sklearn one-hot编码详解
09-20
需要注意的是，one-hot编码会导致特征维度的显著增加，尤其是当原始数据包含大量离散特征时。这可能会导致模型过拟合或增加训练时间。因此，根据具体任务和数据集，可能需要考虑其他策略，如特征选择、降维或使用更...
进阶torch:torch.stack和torch.cat + one-hot报错
ABU366的博客
09-22 1232
torch.cat()和torch.satck区别。及ont-hot独热编码报错
TypeError: ‘NoneType‘ object is not callable--python报错解决办法
宝藏女孩的成长日记
05-12 3557
报错为 翻译过来为：TypeError:“NoneType”对象不可调用 代码： def bibao_one(): Jay = "哎哟不错哦" def bibao_two(): print(Jay) return bibao_two() #执行闭包 execute = bibao_one() execute() 我们在执行调用函数的时候，把括号去掉就是了，如 ...
计算机视觉，如何识别未在训练集中没有出现过的类别？
胖胖大海的博客
06-13 2316
如何识别未在训练集中没有出现过的类别
jupyter notebook 报错：TypeError: __init__() got an unexpected keyword argument ‘categorical_features‘
阿正的梦工坊
01-02 2824
踩坑
Python实现类别变量的独热编码（One-hot Encoding）
Gefangenes的博客
06-02 2911
本文介绍基于下与两种方法，实现机器学习中最优的编码方法——的方法。目录在数据处理与分析领域，对数值型与字符型加以是不可或缺的预处理操作；这里介绍两种不同的方法。
OneHotEncoder没有啥属性
fgh123的博客
06-16 2447
AttributeError: ‘OneHotEncoder’ o has no attribute ‘categories_’ 解决办法： 更新sklearn库 1.anaconda的Promote 2.pip list 可以查看当前已经安装的包和版本 3.更新sklearn 输入”conda update scikit-learn”   AttributeError: ‘OneHotEncoder’ object has no attribute ‘n_values_’ 安装指定version的包：
错误总结：OneHotEncoder
weixin_43355451的博客
06-27 2589
OneHotEncoder 中 categorical_features代表类别属性的索引数值，n_values代表categorical_features中每个属性含有多少个类别 toarray()是集合转数组的意思 OnehotEncoder在实际应用中的理解： https://blog.csdn.net/qq_24509229/article/details/80183173 正确代码： d...
LabelEncoder和OneHotEncoder
tsfx051435adsl的博客
01-03 531
# 将离散型的数据转换成0到n-1之间的数，这里的n是一个列表的不同取值的个数，可以认为是某个特征的所有不同取值的个数 def testLabelEncoder(): from sklearn.preprocessing import LabelEncoder labelencoder = LabelEncoder() x = labelencoder.fit_tran...
OnehotEncoder在实际应用中的理解
qq_24509229的博客
05-03 5840
独热编码(OnehotEncoder)就是把数据变成(1,0,0,...,0),(0,1,0,0,...,0)，该特征属性有多少类别就有多少维类别编码(LabelEncoder)就是把数据变成连续的数值型变量，比如原先有“American”“Japanese”“Chinese”这些的，换成(0,1,2)为什么在特征工程经常用Onehotencoder而很少用Labelencoder是因为后者所生成...
onehotencoder参数
最新发布
07-27
如果不指定categories，OneHotEncoder会根据训练数据自动确定每个特征的类别。如果指定了categories，OneHotEncoder会使用指定的类别进行编码。 3. sparse: 这个参数决定了编码后的向量是否以稀疏矩阵的形式表示。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值