python数据清洗数据表处理

1.常用库

import pandas as pd
import numpy as np
import xlrd  #Excel数据处理
import os
#更改文件路劲
os.chdir(r'E:\python\数据')

2.数据读取

常用编码为utf-8、gbk 、gbk2312和gb18030等。

#读取csv数据
df = pd.read_csv('baby_trade_history.csv', encoding='utf-8',dtype={'user_id':str})
df1 = pd.read_csv('sam_tianchi_mum_baby.csv',encoding = 'utf-8',dtype =str)  #将数据转换为字符串格式
#读取excel数据
import xlrd
workbook = xlrd.open_workbook('meal_order_detail.xlsx')
sheet_name = workbook.sheet_names() #返回所有sheet的列表
order1 = pd.read_excel('meal_order_detail.xlsx',sheet_name ='meal_order_detail1',engine="python",encoding = "gbk")   #如果表格中有中文容易报错，加上engine="python"

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)  # 文件路径，模式，缓冲，编码格式，错误处理方式，换行符（只适用于文本模式），如果closefd为False则当文件关闭时基础文件描述符将保持打开状态。
"""
模式 
r--打开读取(默认)
w--打开进行写入，首先截断文件
x--创建一个新文件并打开它进行写入
a--打开进行写入，如果文件存在，则追加到文件末尾
b--二进制模式
t--文本模式(默认)
+--打开磁盘文件进行更新(读和写)
u--通用换行符模式(已弃用)
"""

3. 数据保存成文件

df.to_csv(‘df.csv’,index=False)
df.to_excel('a1.xlsx', sheet_name=‘sheet1', index= False,encoding='utf-8")

如果报错module ‘pandas’ has no