字符串类型数据预处理的一个简单小方法

最新推荐文章于 2023-11-20 12:54:59 发布
最新推荐文章于 2023-11-20 12:54:59 发布
阅读量1.4k 收藏
点赞数
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ramer42/article/details/83242467
版权
在参与kaggle的House Prices竞赛时，面对81列数据，作者编写了一个简单方法，能自动将字符串类型特征按数字顺序编码。对于包含NAN或空值的元素，该方法会填充0，以方便后续的数据处理。然而，方法运行效率较低，每处理一列需要约10秒，并且触发了SettingWithCopyWarning警告，这与DataFrame的链式运算问题有关，作者计划进一步研究解决。
摘要由CSDN通过智能技术生成

今天开始试着去做kaggle上的入门竞赛House Prices，因为数据集有81列，即81个特征，一列一列处理数据很头疼，于是想自己写几个方法
先写了一个简单的，可以自动把字符串类型的特征按数字顺序编码，如果数据中含有NAN或空元素就填入0，方便之后的处理
写出来之后发现运行效率很低，处理一列需要十秒，更头疼了……
还有就是弹出了SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame，是因为链式运算的问题，现在还不理解，先马一下。

def com(column):
    a = train[column].value_counts().index
    if trai
最低0.47元/天 解锁文章
张林濮
关注
专栏目录
Python 机器学习 基础 之 处理文本数据 【处理文本数据/用字符串表示数据类型/将文本数据表示为词袋】的简单说明
仙魁XAN
05-31 1102
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
机器学习流程—数据预处理 清洗
最新发布
03-05 3万+
这里我们需要说明一下，虽然这里我们讲的是数据预处理，但是我们这里为了更加充分的理解我们后面的数据预处理，这里我们说明一下我们要解决什么样的问题，也就是定义问题。itanic数据集作为kaggle比赛中的经典数据集，今天我们使用的数据也是这个数据集，这个数据集描述的主要是泰坦尼克号邮轮上乘客的数据，我们要做的事情就是根据乘客的数据预测乘客在泰坦尼克号沉没的时候时候可以活下来。
字符串,元组,字典,列表(数据预处理:strip,replace,split,find,join,zip,keys,values,items,get,reverse,remove,sort)
二八定律法则
08-30 343
对数据进行预处理的时候，我们经常会用到函数方法来去除字符串或者字段前后的空格或换行符
字符串的预处理
qq_43602486的博客
03-11 258
C++ isalpha、isalnum、islower、isupper用法 https://blog.csdn.net/weixin_41162823/article/details/80172379 C/C++库函数（tolower/toupper）实现字母的大小写转换 https://blog.csdn.net/laozhuxinlu/article/details/51539737
Python数据分析3------数据预处理（2）----字符串处理
weixin_30627381的博客
07-13 204
转载于:https://www.cnblogs.com/Lee-yl/p/9304399.html
字符串的多方式预处理
Luke的专栏
02-15 544
抽空期间写了一个 药费帐户统计系统 因为使用对象是母亲大人 所以再输入费用一栏中 经常会出现一些预想不到的情况 ：18.35 会被输入成18。35 18.3。518。 3518，3518,35非单个正确位置的数学小数点符号，而出现大量 1. 2。3， 4,  这4个符号，还有在18.35各种位置出现未知数量的空格情况，导致数据类型不匹配的报错。0.45 会被输入成.45。45，45,45    
字符串预处理
weixin_34218890的博客
11-13 152
用nextz[x][y]表示下标为x的字符后面第一次出现y的位置 s为字符串，存储的字符从下标1开始 void init() { for(int i='a';i<='z';i++) { for(int j=n;j>=1;j--) { nextz[j-1][i-'a']=nextz[j][i-'a...
6.字符型数据及其处理
Rabbit_0221的博客
11-04 461
R的数据类型与相应运算6 字符型数据及其处理6.1 字符型向量6.2 paste()函数6.3 转换大小写6.4 字符串长度6.5 取子串6.6 类型转换6.7 字符串拆分6.8 字符串替换功能6.9 正则表达式 （学习资料参考北京大学李东风老师《R语言教程》） 6 字符型数据及其处理 6.1 字符型向量 字符型向量是元素为字符串的向量。 如： s1 <- c('abc', '', 'a c...
数据预处理（三）：字符型特征处理
weixin_42189966的博客
06-16 6269
离散特征编码 一、介绍 1.原因 逻辑回归、svm、k近邻等算法只能处理数值型数据，而不能处理文字，因此有时候我们应对文字型数据进行编码，转化为数值型数据。在sklearn中，除了专用于处理文字的算法，其他算法输入数据时全部要求输入数组或矩阵，不能导入文字型数据。 2.两种编码方式 当分类变量的取值之间有大小意义时，如【小学、初中、大学】，可以将其编码为【0,1,2】。 当分类变量的取值 ...
【TensorFlow深度学习】三、流量数据预处理（字符串、csv、DataFrame、字典、张量之间的转换）
鹤子的一些知识共享
11-20 662
本节简单介绍了数据预处理的内容，主要是字符串、csv文件、DataFrame、字典、张量等数据格式之间的转换与处理。经过这一节，我们以将字符串文件格式化为张量为例，详细介绍了处理过程。
python预处理字符串_寻找一种预处理字符串特征的方法
weixin_39612877的博客
02-11 208
编辑：也许简单的数字映射可以更快，而且没有冲突：import hashlibfrom numpy import arrayfeatures = array(['oklahoma', 'florida', 'idaho', 'pennsylvania', 'alabama','washington'], dtype=object)numbers = range(0, len(features))nu...
springMcv预处理查询参数空字符串
missY_H的博客
12-10 286
@InitBinder public void InitBinder(WebDataBinder dataBinder) { dataBinder.registerCustomEditor(String.class, new PropertyEditorSupport() { public void setAsText(String value) { ...
字符串类型及操作
weixin_44629859的博客
07-20 379
昨天写了turtle绘图，但中途停电断网刷新没保存，自闭！！！！！！ 字符串类型及操作 两类四种表示方法 单\双引号表示一行 单\双三引号表示多行 正向递增序号 与 反向递增序号 字符串的引用 单个引用【】 与切片 [M:N]从M开始到N-1字符结束 M缺失至开头 N开头缺失至结尾 [M:N:K]根据步长对字符串切片 [::-1]可将字符串逆序 字符串的特殊字符 1、转义符 -\表达特定字符的本意 -形成一些组合，表达不可打印的含义 字符串操作符 x + y连接两个字符串x,y x *n
预处理时如何处理类别型特征
Neekity的博客
01-09 788
1.序号编码： 比如成绩的优，良，及格，不合格可以编码成4,3,2,1 2.one-hot（独热）编码：优（1,0,0,0），良（0,1,0,0），及格（0,0,1,0），不合格（0,0,0,1） 3.二进制编码：优—&gt;100（对应于十进制的4）,良—&gt;011，及格—&gt;010，不合格—&gt;001 ...
字符串处理方法
weixin_74239923的博客
12-12 630
7、substring() 截取字符串 用法： substring(start,end)（不包括end）//substring() 截取字符串 用法： substring(start,end)（不包括end）//charAt() 获取字符串中的某一个字符(按编号获取)//弹出1224,数字和字符串相加等同于字符串和字符串相加。//split() 把一个字符串分隔成字符串组成的数组。//parseFloat() 将数字字符串转化为小数。//弹出2,0,2,2,-,1,2,-,1,2。
简单模式匹配算法详解：字符串操作在数据结构与编程中的应用
本文档详细介绍了简单模式匹配算法的过程，针对字符串数据结构进行深入解析。在讨论中，首先明确了字符串在计算机科学中的重要性，它是非数值处理的关键对象，如源代码、数据记录等。字符串被定义为由0个或更多字符...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值