数据清洗笔记整理

python 基础笔记整理

pandas中用于替换某一类字符

df.replace('-',np.nan,inplace=True)#inplace=True时在原数据处做出更改
df_clean['age'].replace({1:18,2:30,3:55},inplace=True)#可以用字典替换多组数据

pandas Dataframe提取方法

#loc只能通过index和columns来取，不能用数字
df.loc['one','a']#one行，a列
df.loc['one':'two','a']#one到two行，a列
df.loc['one':'two','a':'c']#one到two行，a到c列
df.loc['one':'two',['a','c']]#one到two行，ac列

#iloc只能用数字索引，不能用索引名
df.iloc[0:2]#前2行
df.iloc[0]#第0行
df.iloc[0:2,0:2]#0、1行，0、1列
df.iloc[[0,2],[1,2,3]]#第0、2行，1、2、3列

#iat取某个单值,只能数字索引
df.iat[1,1]#第1行，1列

#at取某个单值,只能index和columns索引
df.at['one','a']#one行，a列

python运算的三种取整方式

1.向下取整

a = 3.75
int(a)
3

2.四舍五入

a=3.25;b=3.75
round(a);round(b)
3.0
4.0

3.向上取整

import math
math.ceil(3.25)
4.0
math.ceil(3.75)
4.0

返回list里的索引

def enumerate_fn():
    

    list =df_time2
    for index, value in enumerate(list):
        
        print("索引：" + str(index), ", 值：" + value)
enumerate_fn()

pandas删除数据

#删除前35行的数据
for m in range(35):
        df.drop([m],axis=0,inplace=True)

re模块（正则表达式）

"^\d+$"　　//非负整数（正整数 + 0） 
"^[0-9]*[1-9][0-9]*$"　　//正整数 
"^((-\d+)|(0+))$"　　//非正整数（负整数 + 0） 
"^-[0-9]*[1-9][0-9]*$"　　//负整数 
"^-?\d+$"　　　　//整数 
"^\d+(\.\d+)?$"　　//非负浮点数（正浮点数 + 0） 
"^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$"　　//正浮点数 
"^((-\d+(\.\d+)?)|(0+(\.0+)?))$"　　//非正浮点数（负浮点数 + 0） 
"^(-(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)))$"　　//负浮点数 
"^(-?\d+)(\.\d+)?$"　　//浮点数 
"^[A-Za-z]+$"　　//由26个英文字母组成的字符串 
"^[A-Z]+$"　　//由26个英文字母的大写组成的字符串 
"^[a-z]+$"　　//由26个英文字母的小写组成的字符串 
"^[A-Za-z0-9]+$"　　//由数字和26个英文字母组成的字符串 
"^\w+$"　　//由数字、26个英文字母或者下划线组成的字符串 
"^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$"　　　　//email地址 
"^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$"　　//url
/^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/   //  年-月-日
/^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/   // 月/日/年
"^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$"   //Emil
"(d+-)?(d{4}-?d{7}|d{3}-?d{8}|^d{7,8})(-d+)?"     //电话号码
"^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5])$"   //IP地址
^([0-9A-F]{2})(-[0-9A-F]{2}){5}$   //MAC地址的正则表达式
^[-+]?\d+(\.\d+)?$  //值类型正则表达式

正则表达式

xlwt库的使用

def create_excel_xls(path, sheet_name):                                                                           
    workbook = xlwt.Workbook()  # 新建一个工作簿                                       
    sheet = workbook.add_sheet(sheet_name)  # 在工作簿中新建一个表格                                      
    workbook.save(path)  # 保存工作簿                                                
    print("xls格式表格写入数据成功！")               

新建之后可以用to_excel导入DataFrame

os库

filenames = os.listdir(r'C:\Users\15643\Desktop\analysis\Export Files\fin_data4')

os库总结