数据分析（一）：数据的读写（文件、数据库）

将数据读取为 Pandas.DataFrame

读写文本文件（csv）

读

pd.read_csv(filepath, sep=',', header)
"""
filepath: 文件路径
sep：数据的分隔符，默认','
header：将某行作为列名，默认文件的第一行为列名
		=None：第一行是数据，不是列名
"""
pd.read_table(...)  同上

import pandas as pd

d = {'id':[1,2,3,4],
     'name':['Amy', 'Jack', 'Bob', 'Mike'],
     'sex':['F','M','M','M'],
     'age':[20, 18, 24, 19]
     }
df = pd.DataFrame(d)
print(df)


# 间隔符：逗号
df = pd.read_csv('data.csv')
print(df)
df = pd.read_table('data.csv', sep=',')
print(df)
# 间隔符：空白
df = pd.read_csv('data.csv',sep='\s+')
print(df)


# 设置列索引（列名）
df = pd.read_csv('data.csv', header=None)       # 文件第一行为数据，不是列名
print(df)
print(df.columns)
df = pd.read_csv('data.csv',
                 names=['A1','A2','A3','A4'])   # 设置列标签
print(df)
print(df.columns)


# 设置行索引
df = pd.read_csv('data.csv', names=['A1','A2','A3','A4'],
                 index_col='A4')   # 把某列的值设置为行索引
print(df)
df = pd.read_csv('data.csv', names=['A1','A2','A3','A4'],
                 index_col=['A3', 'A4'])        # 多个列设为行索引
print(df)


# 跳行读取
df = pd.read_csv('data.csv', skiprows=[0,2])
print(df)


# 设置缺失值
# 默认将 NA、NULL当作缺失值，读取时自动转为 NaN
d = {'name':['Bob','Mike'], 'age':[20,22]}   # 匹配成功的设置成 NaN（age==22没有）
df = pd.read_csv('data.csv', na_values=d)
print(df)

pd.read_csv()、pd.read_table() 的常用参数：

写

import pandas as pd

d = {'id':[1,2,3,4],
     'name':['Amy', 'Jack', 'Bob', 'Mike'],
     'sex':['F','M','M','M'],
     'age':[20, 18, 24, 19]
     }
df = pd.DataFrame(d)
print(df)


df.to_csv('data.csv')
df.to_csv('data.csv', sep=' ')
df.to_csv('data.csv', na_rep='NULL')         # 将 NaN 写为 NULL
df.to_csv('data.csv', index=False, columns=['name','age'])  # 写入指定的列


# 行列索引均为自动索引
df.to_csv('data.csv', index=False, header=None)       # 不写入行列索引
df = pd.read_csv('data.csv', header=None)
print(df)

# 行索引为自动索引，列标签
df.to_csv('data.csv', index=False)       # 不写入行索引
df = pd.read_csv('data.csv')
print(df)

df.to_csv()

读写 Excel文件

读

能读写 ‘.xls’、‘.xlsx’ 两种文件

import pandas as pd


df = pd.read_excel('data.xlsx')
df = pd.read_excel('data.xlsx', header=None)      # 不读取列名，文件第一行为数据
print(df)


# excel 子表
df = pd.read_excel('data.xlsx', sheet_name=0)
df = pd.read_excel('data.xlsx', sheet_name='table1')   # 子表 sheet1
print(df)
"""
sheet_name = []或None，返回df为字典，key是子表名
"""
df = pd.read_excel('data.xlsx', sheet_name=[0,1])
df = pd.read_excel('data.xlsx', sheet_name=None)  # 所有子表
print(df['Sheet1'])

pd.read_excel()

写

import pandas as pd

d = {'id':[1,2,3,4],
     'name':['华生', 'Jack', 'Bob', 'Mike'],
     'sex':['F','M','M','M'],
     'age':[20, 18, 24, 19]
     }
df = pd.DataFrame(d)
print(df)


df.to_excel('data.xlsx')
df.to_excel('data.xlsx', index=False)        # 不写行索引
df.to_excel('data.xlsx', index=False, header=False)     # 不写行列索引
df.to_excel('data.xlsx', index=False, header=['A1','A2','A3','A4'])         # 设置列名

df.to_excel()

读写 Json格式

读写数据库

连接

数据库驱动：连接数据库

• pymysql
• Mysqldb
• mysqlconnector

ORM框架：将数据库表 与 python中的对象映射，用类自动封装数据库表

• SQLAlchemy

from sqlalchemy import create_engine


conn = create_engine('mysql+pymysql://root:123456@localhost:3306/mydb')
"""
驱动：mysql
数据库名：mydb
"""
print(conn)    # Engine(mysql+pymysql://root:***@localhost:3306/mydb)

读

from sqlalchemy import create_engine
import pandas as pd


conn = create_engine('mysql+pymysql://root:123456@localhost:3306/store')
"""
驱动：pymysql
数据库名：store
"""
print(conn)    # Engine(mysql+pymysql://root:***@localhost:3306/mydb)


# 读取
df = pd.read_sql('commodity_commodityinfos', conn)
print(df)
df = pd.read_sql('commodity_commodityinfos', conn, columns=['name','types','price'])     # 选取部分列
print(df)


# 查询
sql = 'SELECT * FROM commodity_commodityinfos WHERE id<10'
df = pd.read_sql(sql, conn, columns=['name','types','price'])         # columns 此时没用了，以 sql 语句优先
print(df)
print(len(df))

写

from sqlalchemy import create_engine
import pandas as pd


conn = create_engine('mysql+pymysql://root:123456@localhost:3306/store')
"""
驱动：pymysql
数据库名：store
"""
print(conn)    # Engine(mysql+pymysql://root:***@localhost:3306/mydb)


d = {'id':[1,2,3,4],
     'name':['华生', 'Jack', 'Bob', 'Mike'],
     'sex':['F','M','M','M'],
     'age':[20, 18, 24, 19]
     }
df = pd.DataFrame(d)
print(df)


df.to_sql('my_df', conn, if_exists='replace')     # 表存在，则覆盖
df.to_sql('my_df', conn, if_exists='replace', index=False)     # 不写行索引