第7章 文本数据

最新推荐文章于 2021-08-05 14:27:08 发布
最新推荐文章于 2021-08-05 14:27:08 发布
阅读量384 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lukem44/article/details/106981311
版权

第7章 文本数据

import pandas as pd
import numpy as np

一、string类型的性质

1. string与object的区别

string类型和object不同之处有三：
① 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型
② 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
③ string类型在缺失值存储或运算时，类型会广播为pd.NA，而不是浮点型np.nan
其余全部内容在当前版本下完全一致，但迎合Pandas的发展模式，我们仍然全部用string来操作字符串

2. string类型的转换

如果将一个其他类型的容器直接转换string类型可能会出错：
#pd.Series([1,'1.']).astype('string') #报错
#pd.Series([1,2]).astype('string') #报错
#pd.Series([True,False]).astype('string') #报错
当下正确的方法是分两部转换，先转为str型object，在转为string类型：
pd.Series([1,'1.']).astype('str').astype('string')

0     1
1    1.
dtype: string

pd.Series([1,2]).astype('str').astype('string')

0    1
1    2
dtype: string

pd.Series([True,False]).astype('str').astype('string')

0     True
1    False
dtype: string

二、拆分与拼接

1. str.split方法

（a）分割符与str的位置元素选取
s = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'], dtype="string")
s

0    a_b_c
1    c_d_e
2     <NA>
3    f_g_h
dtype: string
根据某一个元素分割，默认为空格
s.str.split('_')

0    [a, b, c]
1    [c, d, e]
2         <NA>
3    [f, g, h]
dtype: object
这里需要注意split后的类型是object，因为现在Series中的元素已经不是string，而包含了list，且string类型只能含有字符串
对于str方法可以进行元素的选择，如果该单元格元素是列表，那么str[i]表示取出第i个元素，如果是单个元素，则先把元素转为列表在取出
s.str.split('_').str[1]

0       b
1       d
2    <NA>
3       g
dtype: object

pd.Series(['a_b_c', ['a','b','c']], dtype="object").str[1]
#第一个元素先转为['a','_','b','_','c']

0    _
1    b
dtype: object
（b）其他参数
expand参数控制了是否将列拆开，n参数代表最多分割多少次
s.str.split('_',expand=True)
012
0abc
1cde
2<NA><NA><NA>
3fgh
s.str.split('_',n=1)

0    [a, b_c]
1    [c, d_e]
2        <NA>
3    [f, g_h]
dtype: object

s.str.split('_',expand=True,n=1)
01
0ab_c
1cd_e
2<NA><NA>
3fg_h

2. str.cat方法

（a）不同对象的拼接模式
cat方法对于不同对象的作用结果并不相同，其中的对象包括：单列、双列、多列
① 对于单个Series而言，就是指所有的元素进行字符合并为一个字符串
s = pd.Series(['ab',None,'d'],dtype='string')
s

0      ab
1    <NA>
2       d
dtype: string

s.str.cat()

'abd'
其中可选sep分隔符参数，和缺失值替代字符na_rep参数
s.str.cat(sep=',')

'ab,d'

s.str.cat(sep=',',na_rep='*')

'ab,*,d'
② 对于两个Series合并而言，是对应索引的元素进行合并
s2 = pd.Series(['24',None,None],dtype='string')
s2

0      24
1    <NA>
2    <NA>
dtype: string

s.str.cat(s2)

0    ab24
1    <NA>
2    <NA>
dtype: string
同样也有相应参数，需要注意的是两个缺失值会被同时替换
s.str.cat(s2,sep=',',na_rep='*')

0    ab,24
1      *,*
2      d,*
dtype: string
③ 多列拼接可以分为表的拼接和多Series拼接
表的拼接
s.str.cat(pd.DataFrame({0:['1','3','5'],1:['5','b',None]},dtype='string'),na_rep='*')

0    ab15
1     *3b
2     d5*
dtype: string
多个Series拼接
s.str.cat([s+'0',s*2])

0    abab0abab
1         <NA>
2        dd0dd
dtype: string
（b）cat中的索引对齐
当前版本中，如果两边合并的索引不相同且未指定join参数，默认为左连接，设置join=‘left’
s2 = pd.Series(list('abc'),index=[1,2,3],dtype='string')
s2

1    a
2    b
3    c
dtype: string

s.str.cat(s2,na_rep='*')

0    ab*
1     *a
2     db
dtype: string

三、替换

广义上的替换，就是指str.replace函数的应用，fillna是针对缺失值的替换，上一章已经提及
提到替换，就不可避免地接触到正则表达式，这里默认读者已掌握常见正则表达式知识点，若对其还不了解的，可以通过这份资料来熟悉

1. str.replace的常见用法

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca','', np.nan, 'CABA', 'dog', 'cat'],dtype="string")
s

0       A
1       B
2       C
3    Aaba
4    Baca
5        
6    <NA>
7    CABA
8     dog
9     cat
dtype: string
第一个值写r开头的正则表达式，后一个写替换的字符串
s.str.replace(r'^[AB]','***')

0       ***
1       ***
2         C
3    ***aba
4    ***aca
5          
6      <NA>
7      CABA
8       dog
9       cat
dtype: string

2. 子组与函数替换

通过正整数调用子组（0返回字符本身，从1开始才是子组）
s.str.replace(r'([ABC])(\w+)',lambda x:x.group(2)[1:]+'*')

0       A
1       B
2       C
3     ba*
4     ca*
5        
6    <NA>
7     BA*
8     dog
9     cat
dtype: string
利用?P<…>表达式可以对子组命名调用
s.str.replace(r'(?P<one>[ABC])(?P<two>\w+)',lambda x:x.group('two')[1:]+'*')

0       A
1       B
2       C
3     ba*
4     ca*
5        
6    <NA>
7     BA*
8     dog
9     cat
dtype: string

3. 关于str.replace的注意事项

首先，要明确str.replace和replace并不是一个东西：
str.replace针对的是object类型或string类型，默认是以正则表达式为操作，目前暂时不支持DataFrame上使用
replace针对的是任意类型的序列或数据框，如果要以正则表达式替换，需要设置regex=True，该方法通过字典可支持多列替换
但现在由于string类型的初步引入，用法上出现了一些问题，这些issue有望在以后的版本中修复
（a）str.replace赋值参数不得为pd.NA
这听上去非常不合理，例如对满足某些正则条件的字符串替换为缺失值，直接更改为缺失值在当下版本就会报错
#pd.Series(['A','B'],dtype='string').str.replace(r'[A]',pd.NA) #报错
#pd.Series(['A','B'],dtype='O').str.replace(r'[A]',pd.NA) #报错
此时，可以先转为object类型再转换回来，曲线救国：
pd.Series(['A','B'],dtype='string').astype('O').replace(r'[A]',pd.NA,regex=True).astype('string')

0    <NA>
1       B
dtype: string
至于为什么不用replace函数的regex替换（但string类型replace的非正则替换是可以的），原因在下面一条
（b）对于string类型Series，在使用replace函数时不能使用正则表达式替换
该bug现在还未修复
pd.Series(['A','B'],dtype='string').replace(r'[A]','C',regex=True)

0    A
1    B
dtype: string

pd.Series(['A','B'],dtype='O').replace(r'[A]','C',regex=True)

0    C
1    B
dtype: object
（c）string类型序列如果存在缺失值，不能使用replace替换
#pd.Series(['A',np.nan],dtype='string').replace('A','B') #报错

pd.Series(['A',np.nan],dtype='string').str.replace('A','B')

0       B
1    <NA>
dtype: string
综上，概况的说，除非需要赋值元素为缺失值（转为object再转回来），否则请使用str.replace方法

四、子串匹配与提取

1. str.extract方法

（a）常见用法
pd.Series(['10-87', '10-88', '10-89'],dtype="string").str.extract(r'([\d]{2})-([\d]{2})')
01
01087
11088
21089
使用子组名作为列名
pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})-(?P<name_2>[\d]{2})')
name_1name_2
01087
11088
2<NA><NA>
利用?正则标记选择部分提取
pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})?-(?P<name_2>[\d]{2})')
name_1name_2
01087
11088
2<NA>89
pd.Series(['10-87', '10-88', '10-'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})-(?P<name_2>[\d]{2})?')
name_1name_2
01087
11088
210<NA>
（b）expand参数（默认为True）
对于一个子组的Series，如果expand设置为False，则返回Series，若大于一个子组，则expand参数无效，全部返回DataFrame
对于一个子组的Index，如果expand设置为False，则返回提取后的Index，若大于一个子组且expand为False，报错
s = pd.Series(["a1", "b2", "c3"], ["A11", "B22", "C33"], dtype="string")
s.index

Index(['A11', 'B22', 'C33'], dtype='object')

s.str.extract(r'([\w])')
0
A11a
B22b
C33c
s.str.extract(r'([\w])',expand=False)

A11    a
B22    b
C33    c
dtype: string

s.index.str.extract(r'([\w])')
0
0A
1B
2C
s.index.str.extract(r'([\w])',expand=False)

Index(['A', 'B', 'C'], dtype='object')

s.index.str.extract(r'([\w])([\d])')
01
0A1
1B2
2C3
#s.index.str.extract(r'([\w])([\d])',expand=False) #报错

2. str.extractall方法

与extract只匹配第一个符合条件的表达式不同，extractall会找出所有符合条件的字符串，并建立多级索引（即使只找到一个）
s = pd.Series(["a1a2", "b1", "c1"], index=["A", "B", "C"],dtype="string")
two_groups = '(?P<letter>[a-z])(?P<digit>[0-9])'
s.str.extract(two_groups, expand=True)
letterdigit
Aa1
Bb1
Cc1
s.str.extractall(two_groups)
letterdigit
match
A0a1
1a2
B0b1
C0c1
s['A']='a1'
s.str.extractall(two_groups)
letterdigit
match
A0a1
B0b1
C0c1
如果想查看第i层匹配，可使用xs方法
s = pd.Series(["a1a2", "b1b2", "c1c2"], index=["A", "B", "C"],dtype="string")
s.str.extractall(two_groups).xs(1,level='match')
letterdigit
Aa2
Bb2
Cc2

3. str.contains和str.match

前者的作用为检测是否包含某种正则模式
pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains(r'[0-9][a-z]')

0    False
1     <NA>
2     True
3     True
4     True
dtype: boolean
可选参数为na
pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains('a', na=False)

0    False
1    False
2     True
3    False
4    False
dtype: boolean
str.match与其区别在于，match依赖于python的re.match，检测内容为是否从头开始包含该正则模式
pd.Series(['1', None, '3a_', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False)

0    False
1    False
2     True
3     True
4    False
dtype: boolean

pd.Series(['1', None, '_3a', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False)

0    False
1    False
2    False
3     True
4    False
dtype: boolean

五、常用字符串方法

1. 过滤型方法

（a）str.strip
常用于过滤空格
pd.Series(list('abc'),index=[' space1  ','space2  ','  space3'],dtype="string").index.str.strip()

Index(['space1', 'space2', 'space3'], dtype='object')
（b）str.lower和str.upper
pd.Series('A',dtype="string").str.lower()

0    a
dtype: string

pd.Series('a',dtype="string").str.upper()

0    A
dtype: string
（c）str.swapcase和str.capitalize
分别表示交换字母大小写和大写首字母
pd.Series('abCD',dtype="string").str.swapcase()

0    ABcd
dtype: string

pd.Series('abCD',dtype="string").str.capitalize()

0    Abcd
dtype: string

2. isnumeric方法

检查每一位是否都是数字，请问如何判断是否是数值？（问题二）
pd.Series(['1.2','1','-0.3','a',np.nan],dtype="string").str.isnumeric()

0    False
1     True
2    False
3    False
4     <NA>
dtype: boolean

六、问题与练习

1. 问题

【问题一】 str对象方法和df/Series对象方法有什么区别？

string类型和object不同之处有三：
① 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型
② 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
③ string类型在缺失值存储或运算时，类型会广播为pd.NA，而不是浮点型np.nan
其余全部内容在当前版本下完全一致，但迎合Pandas的发展模式，我们仍然全部用string来操作字符串

【问题二】 给出一列string类型，如何判断单元格是否是数值型数据？

s.str.isnumeric()

【问题三】 rsplit方法的作用是什么？它在什么场合下适用？

按照一定规则拆分某列字符串，split后的类型是object

【问题四】 在本章的第二到第四节分别介绍了字符串类型的5类操作，请思考它们各自应用于什么场景？

2.字符串拆分和拼接
- str.split：对字符串进行拆分
- str.cat：不同对象进行拼接
3.str.replace：默认以正则表达式进行替换
4.子串匹配与提取
- str.extract方法:匹配和提取字符串
- str.extractall方法：找出所有符合条件的字符串，并建立多级索引（即使只找到一个）
- str.contains:检测是否包含某种正则模式
- str.match:依赖于python的re.match，检测内容为是否从头开始包含该正则模式

2. 练习

【练习一】 现有一份关于字符串的数据集，请解决以下问题：
data = pd.read_csv('data/String_data_one.csv',index_col='人员编号')
data.head()
姓名国籍性别出生年出生月出生日
人员编号
1aesfd2男1942810
2fasefa5女1985104
3aeagd4女19461015
4aef4男1999513
5eaf1女2010624
（a）现对字符串编码存储人员信息（在编号后添加ID列），使用如下格式：“×××（名字）：×国人，性别×，生于×年×月×日”
ID = data['姓名']+'：'+data['国籍'].apply(str)+'国人，性别'+data['性别'].apply(str)+',生于'+data['出生年'].apply(str)+'年'+data['出生月'].apply(str)+'月'+data['出生日'].apply(str)+'日'
data.insert(0,'ID',ID)
data.head()
ID姓名国籍性别出生年出生月出生日
人员编号
1aesfd：2国人，性别男,生于1942年8月10日aesfd2男1942810
2fasefa：5国人，性别女,生于1985年10月4日fasefa5女1985104
3aeagd：4国人，性别女,生于1946年10月15日aeagd4女19461015
4aef：4国人，性别男,生于1999年5月13日aef4男1999513
5eaf：1国人，性别女,生于2010年6月24日eaf1女2010624
（b）将（a）中的人员生日信息部分修改为用中文表示（如一九七四年十月二十三日），其余返回格式不变。
import re

num_dict={"0":u"零","1":u"一","2":u"二","3":u"三","4":u"四","5":u"五","6":u"六","7":u"七","8":u"八","9":u"九"}
data.loc[:,'ID'] = data['ID'].str.replace(r'(生于)(\d*)(年)',lambda x:x.group(1)+''.join(map(lambda x: num_dict[x],list(x.group(2))))+x.group(3))
data.loc[:,'ID'] = data['ID'].str.replace(r'(年)(\d*)(\d)(月)',lambda x:x.group(1)+\
                                          ('十' if len(x.group(2))>0 else'')+(''if x.group(3)==str(0)else num_dict[x.group(3)])+x.group(4))
data.loc[:,'ID'] = data['ID'].str.replace(r'(月)(\d*)(\d)(日)',lambda x:x.group(1)+\
                                          (num_dict[x.group(2)] if len(x.group(2))>0 and int(x.group(2))>1 else'')+('十' if len(x.group(2))>0 else'')+(''if x.group(3)==str(0)else num_dict[x.group(3)])+x.group(4))
data.head()
ID姓名国籍性别出生年出生月出生日
人员编号
1aesfd：2国人，性别男,生于一九四二年八月十日aesfd2男1942810
2fasefa：5国人，性别女,生于一九八五年十月四日fasefa5女1985104
3aeagd：4国人，性别女,生于一九四六年十月十五日aeagd4女19461015
4aef：4国人，性别男,生于一九九九年五月十三日aef4男1999513
5eaf：1国人，性别女,生于二零一零年六月二十四日eaf1女2010624
data.index

Int64Index([   1,    2,    3,    4,    5,    6,    7,    8,    9,   10,
            ...
            1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000],
           dtype='int64', name='人员编号', length=2000)
（c）将（b）中的ID列结果拆分为原列表相应的5列，并使用equals检验是否一致。
name = data['ID'].str.split('：',expand=True)
country = name.iloc[:,-1].str.split('国人，性别',expand=True)
gender = country.iloc[:,-1].str.split(',生于',expand=True)
year = gender.iloc[:,-1].str.split('年',expand=True)
month = year.iloc[:,-1].str.split('月',expand=True)
day = month.iloc[:,-1].str.split('日',expand=True)
pd.DataFrame({'姓名':name.iloc[:,0],'国籍':country.iloc[:,0],'性别':gender.iloc[:,0],'出生年':year.iloc[:,0],'出生月':month.iloc[:,0],'出生日':day.iloc[:,0],})
姓名国籍性别出生年出生月出生日
人员编号
1aesfd2男一九四二八十
2fasefa5女一九八五十四
3aeagd4女一九四六十十五
4aef4男一九九九五十三
5eaf1女二零一零六二十四
6faefdf1男一九四二一二十一
7daf4女一九五七十一五
8faefdf3男一九九八四八
9fs3女一九五七四十四
10faefdffa3女一九八八九十五
11arege4男一九三三四十二
12ase3女一九四一六十八
13fasf3男一九八七七三
14gfa5女一九六七十三
15asf3男一九九零十二十
16eter4男二零零一二十三
17esf4女一九八七四二十八
18srgdsrg5男一九九三八十二
19aefase4男一九三五十二
20szf1女一九三六六三
21eae2女一九三四二二十八
22dsrgdrg4男一九六八七四
23ggase4女一九九四九三
24hgdrg1女一九九一五二十七
25fef3男一九四五三十一
26zsgdrhdth4女一九四一七十六
27gfe4女一九七七四二十六
28esfa4女一九九八一三
29efaeg3女一九三四九十八
30fasef1男一九八零六二十四
.....................
1971fse2男一九八六七九
1972asef5女一九九三十二十七
1973aesfaes2男二零零九三十四
1974fesf4女一九五二九十五
1975se3男一九八五三十一
1976asef4男一九五二一九
1977fas2女一九三七十十四
1978zgzd5女一九七七七十六
1979aesfa4女二零一零二十八
1980awe1男一九六九九十九
1981gzg3女一九五八四二十三
1982fsf3男一九六九十一十六
1983sg2女二零一五三二十七
1984gfdg4女一九八七四九
1985fg2女一九八零八三
1986rgd4女二零一五十二十五
1987zes5男二零一一十二二十六
1988hxr1女一九三五六二十七
1989dxrg3女一九四八十二二十
1990xdr3女一九八三四九
1991gzseg2女一九七零二二十三
1992efs3男二零零九八九
1993gx1女一九九三七二十四
1994rdxg2男一九九七十十
1995hx1男一九七七九九
1996sdf5男一九八四四十七
1997hx1男一九四三七十六
1998drg5女二零一八四六
1999zfgzdrg5男二零零五一三
2000fsdf3女一九六二七二十三

2000 rows × 6 columns

【练习二】 现有一份半虚拟的数据集，第一列包含了新型冠状病毒的一些新闻标题，请解决以下问题：
（a）选出所有关于北京市和上海市新闻标题的所在行。
（b）求col2的均值。
（c）求col3的均值。
data1 = pd.read_csv('data/String_data_two.csv')
data1.head()
col1col2col3
0鄂尔多斯市第2例确诊患者治愈出院19363.6923
1云南新增2例，累计124例-67-152.281
2武汉协和医院14名感染医护出院-86325.6221
3山东新增9例，累计307例-74-204.9313
4上海开学日期延至3月-954.05
data2 = data1[data1['col1'].map(lambda x:'北京'in x or '上海' in x)]
data2.head()
col1col2col3
4上海开学日期延至3月-954.05
5北京新增25例确诊病例，累计确诊253例-4-289.1719
6上海新增10例，累计243例2-73.7105
36上海新增14例累计233例-55-83
40上海新增14例累计233例-88-99
data2['col2'].map(eval).mean()

-20.152173913043477

data2.iloc[:,-1].map(eval).mean()

-6.998510869565218
lukem44
关注
第三章：文本数据自动化标注
AI天才研究院
05-01 684
第三章：文本数据自动化标注 1. 背景介绍 1.1 机器学习与数据标注 机器学习算法的成功很大程度上依赖于高质量的标注数据。数据标注是将标签或元数据添加到数据样本的过程，以便机器学习模型能够从中学习并进行预测。然而，手动标注数据通常费时费力且
Pandas基础学习: 处理文本数据
qq_45019698的博客
06-26 2191
文章目录一、Task02： 文本数据二、理解点三、问题与作业1. 问题【问题一】 str对象方法和df/Series对象方法有什么区别？【问题二】 给出一列string类型，如何判断单元格是否是数值型数据？【问题三】 rsplit方法的作用是什么？它在什么场合下适用？【问题四】 在本章的第二到第四节分别介绍了字符串类型的5类操作，请思考它们各自应用于什么场景？2. 练习【练习一】 现有一份关于字符串的数据集，请解决以下问题：（a）现对字符串编码存储人员信息（在编号后添加ID列），使用如下格式：“×××（名字
Task7 文本数据
weixin_44424296的博客
06-26 286
Task7 文本数据1.问题2. 练习 1.问题 【问题一】 str对象方法和df/Series对象方法有什么区别？ str对象方法主要是针对类型为string的对象 【问题二】 给出一列string类型，如何判断单元格是否是数值型数据？ 使用str.isnumetric()方法 【问题三】 rsplit方法的作用是什么？它在什么场合下适用？ rsplit() 方法通过指定分隔符对字符串进行分割并返回一个列表，默认分隔符为所有空字符，包括空格、换行(\n)、制表符(\t)等。类似于 split()
pandas学习笔记-第7章-文本数据
像风一样自由的博客
06-23 317
第7章-文本数据 首先导入库 一、string类型的性质 二、拆分与拼接 三、替换 广义上的替换，就是指str.replace函数的应用，fillna是针对缺失值的替换，上一章已经提及 提到替换，就不可避免地接触到正则表达式，这里默认读者已掌握常见正则表达式知识点，若对其还不了解的，可以通过(https://regexone.com/)来熟悉 四、子串匹配与提取 五、常用字符串方法 . 练习 【练习一】 现有一份关于字符串的数据集
第七章_新闻数据集文本分类实战.zip
05-12
在本实践项目中，我们将深入探讨“第七章_新闻数据集文本分类实战.zip”，这是一个使用循环神经网络（RNN）和卷积神经网络（CNN）进行文本分类的应用案例。通过这个压缩包，我们可以学习如何利用这两种强大的深度...
第七章 复杂数据的挖掘.pdf
06-06
《第七章 复杂数据的挖掘》主要探讨了在信息技术迅速发展的背景下，如何有效地挖掘和分析不同类型的数据，包括结构化、非结构化、半结构化以及多媒体形式的数据。这一章旨在深化对基本数据挖掘方法的理解，并探索新...
商务智能 第七章 文本挖掘.ppt
07-07
商务智能在信息管理中的应用广泛，而文本挖掘作为其中一个重要组成部分，主要针对非结构化或半结构化的文本数据进行深入分析，以揭示隐藏在大量文本中的有价值信息。文本挖掘不仅涉及自然语言处理技术，还结合了数据...
第四章 GIS中的数据.ppt第四章 GIS中的数据
最新发布
04-20
6. **文本数据**：例如地名、河流名称等。 7. **符号数据**：例如点状符号、线状符号等。 #### 三、空间数据的测量尺度 对特定现象的测量依据一定的标准赋值或打分，根据不同的参考标准，测量尺度可以分为四个层次...
datawhale组队学习——pandas基础下——文本数据
tangzhide123yy的博客
06-26 224
学习资源链接：pandas文本数据 一、总览 二、正则表达式 三、思考题 【问题一】 str对象方法和df/Series对象方法有什么区别？ 【问题二】 给出一列string类型，如何判断单元格是否是数值型数据？ 【问题三】 rsplit方法的作用是什么？它在什么场合下适用？ 【问题四】 在本章的第二到第四节分别介绍了字符串类型的5类操作，请思考它们各自应用于什么场景？ 四、练习题 【练习一】 现有一份关于字符串的数据集，请解决以下问题： （a）现对字符串编码存储人员信息（在编号后添加ID列），使用如下格
pandas文本str.split,cat,replace,extract,extractall,contains,match,strip,swapcase,capitalize,isnumeric
laicikankna的博客
06-23 464
pandas处理文本数据 快速浏览string类型的性质str.split方法str.cat方法str.replace用法str.extract方法str.extractall方法str.containsstr.matchstr.stripstr.swapcasestr.capitalizeisnumeric问题与练习问题练习Reference string类型的性质 string与object的区别 ① 字符存取方法（string accessor methods，如str.count）会返回相应数据的N
python 列表:字符串变浮点型 数据框架类型转变
m0_48005088的博客
08-05 411
数字字符串列表 ——> 数字浮点型列表 a = ['2', '3.5', '10', '88', '32.66'] b =list(map(float, a)) print(b) [2.0, 3.5, 10.0, 88.0, 32.66]
Python 列表元素字符串转浮点
beyond_buaa的博客
04-19 4290
在网络爬虫或者读取文件中的数据时，很多时候读取出来的数值是字符串形式的，这些字符串形式的数据并不能用来作计算或者更深入的操作，因此我们需要把他们转换为数值的形式。 简单粗暴的 for 循环 假设，这里有一个以字符串形式存储数值的列表，具体如下： a = ['2', '3.5', '10', '88', '32.66'] 我们需要将其转换为浮点的形式，最简单粗暴直接的方法，可以使用 fo...
joyful pandas 第7章 文本数据
weixin_45661573的博客
06-26 990
joyful pandas 第7章 文本数据一、string类型的性质1. string与object的区别2. string类型的转换二、拆分与拼接1. str.split方法（a）分割符与str的位置元素选取（b）其他参数2. str.cat方法（a）不同对象的拼接模式（b）cat中的索引对齐三、替换1. str.replace的常见用法2. 子组与函数替换3. 关于str.replace的注意事项（a）str.replace赋值参数不得为pd.NA（b）对于string类型Series，在使用repl
Datawhale第十三期自组织学习笔记-Panda(下)-第二次作业打卡-Adobebaba
qq_38474864的博客
06-27 214
1. 问题 【问题一】 str对象方法和df/Series对象方法有什么区别？ 在我看来，str对象方法是专门针对字符串处理而设计的，相比于df/Series对象方法来说，他对于不同数据类型的内容适配和编辑灵活性上没有那么高，但是其对于字符串类型内容的处理就会更加得心应手。另一方面str对象方法相比于以往比较混乱的object对象来说能够有更加有针对性的解决方法。 【问题二】 给出一列string类型，如何判断单元格是否是数值型数据？ 使用isnumeric方法，得到一个布尔表 pd.Series(['1.
【Python】数据处理第0步：关于空值和缺失值的处理
热门推荐
浮点型队友
05-25 1万+
关于空值和缺失值： 空值：在pandas中，的空值就是空字符串 “” 缺失值：np.nan，pd.naT（缺失时间），或None 如何定义缺失值、空值？如何判断是否缺失值？如何查找筛选缺失值、空值？ 见下代码： df = pd.DataFrame({"name": ['Alfred', None, 'Catwoman'], "toy": [np.nan, ...
Pandas基础学习（下） Task01：缺失数据（知识梳理脑图+全部资源教程）
RexT1的博客
06-23 404
之前跟随Pandas（上）学习，收获良多，这次开了下的组队学习，迫不及待的加入了。Datawhale是一个很好的开源组织，会组织很多免费的知识学习。 附上本次组队学习的计划和教程资料，即使没有当时加入组队学习，有兴趣的话从现在开始学习也不晚哦~ 现在学习喜欢用脑图的方式，知识点清晰明了，易于查找和复习，希望也可以帮助大家梳理知识脉络。
Pandas数据分析学习打卡（二）：String文本数据
I_am_WK的博客
06-26 531
Pandas数据分析学习打卡（一）：String文本数据 这是Pandas数据分析学习的第二个内容——String文本数据 对它的处理主要是以下几种： 1.类型转换astype()，输入是代表不同类型的关键字，比如’str’、‘string’… 2.拆分str.split()与拼接str.cat()，前者主要根据某一字符进行分割，返回分割后的多个字符；后者可以实现将单个Series的多个字符串元素拼接、将两个Series的对应索引的元素进行合并、将多个列对应索引进行拼接，功能很丰富。 3.替换str.rep
Java编程：第七章输入/输出详解
"JAVA语言程序设计第七章(2)主要探讨了Java中的输入/输出（I/O）系统，包括流式I/O的基础概念、文件操作、随机存取文件以及对象输入/输出。这一章深入讲解了Java.io包中的流类体系，分为字节流和字符流两大类，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值