python数据处理----数据合并

连接数据

加载多份数据连接

# 读取数据
df1 = pd.read_csv('../data/concat_1.csv')
df2 = pd.read_csv('../data/concat_2.csv')
df3 = pd.read_csv('../data/concat_3.csv')
print(df1)
print(df2)
print(df3)

# 连接数据  concat([数据1,数据2])方法
row_concat = pd.concat([df1,df2,df3])

DataFrame和Series连接：

Series是列数据，concat方法默认是添加行，由于Series数据没有行索引，所以添加了一个新列，缺失的数据用NaN填充

new_series = pd.Series(['n1','n2','n3','n4'])
row_concat = pd.concat([df1,new_series])
print(row_concat)

concat()方法可以连接多个，如果只需要追加一个对象可以使用append()方法：

df1.append(df2)

DataFrame添加一行数据：

ignore_index = True参数，忽略后面DataFrame的索引

data_dict = {'A':'n1','B':'n2','C':'n3','D':'n4'}
df1.append(data_dict,ignore_index=True)

DataFrame拼接一列数据

添加一列数据只需要DataFrame['列名'] = ['值1','值2']或者DataFrame['列名'] = Series对象

# concat()方法控制参数axis添加列
col_concat = pd.concat([df1,df2,df3],axis=1)
print(col_concat)

重置列索引：

col_concat = pd.concat([df1,df2,df3],axis='columns',ignore_index=True)
print(col_concat)

6. 连接不同索引的数据集

用concat直接连接不同索引位置的值为NaN

df1.columns = ['A','B','C','D']
df2.columns = ['E','F','G','H']
df3.columns = ['A','C','F','H']
row_concat = pd.concat([df1,df2,df3])
print(row_concat)

添加join参数为inner，默认为outer，连接时只有索引相同的会显示：

---

合并多个数据集

读取MySQL数据库表：

from sqlalchemy import create_engine
# sqlalchemy创建mysql数据库连接
engine = create_engine('mysql+pymysql://root:mysql@localhost:3306/teachingdb_rcq')
# read_sql_table('表名',数据库连接引擎) 方法读取数据库
t_course = pd.read_sql_table('t_course',engine)
t_sinfo = pd.read_sql_table('t_sinfo',engine)
t_student = pd.read_sql_table('t_student',engine)
t_student_course = pd.read_sql_table('t_student_course',engine)
t_teacher = pd.read_sql_table('t_teacher',engine)

读取sqlite文件：

from sqlalchemy import create_engine
import os
os.chdir('../')
engine = create_engine('sqlite:///data/chinook.db')
#连接数据库
tracks = pd.read_sql_table('tracks', engine)
tracks.head()

一对一合并:

tracks_subset数据表：

genres数据表：

merge()方法合并：

参数1为merge合并的数据表
on参数: 以xx字段来进行合并，通常为关联主键
how参数:

• left只保留左侧表中的所有key
• right只保留右侧表中的所有key
• inner只保留两个表中共有的key
• outer保留左右两侧表中所有的key`

# 选出GenreId不相同的数据，确定一对一关系
tracks_subset = tracks.loc[[0,62,76,98,110,193,204,281,322,359],]
genres.merge(tracks_subset[['TrackId','GenreId','Milliseconds']],on='GenreId',how='left')

多对一合并

这次合并的是没有进行裁剪的tracks表，多对一关系

genres.merge(tracks[['TrackId','GenreId','Milliseconds']],on='GenreId',how='left')

多对一关系合并，多的那一张表会出现重复值

join合并

数据表：

左侧表.join()方法合并，参数1为连接的右侧表，lsuffix为左侧表指定的别名，rsuffix为右侧，how参数决定保留哪些key详细看上面merge()方法

# 读取数据
stocks_2016 = pd.read_csv('data/stocks_2016.csv')
stocks_2017 = pd.read_csv('data/stocks_2017.csv')
stocks_2018 = pd.read_csv('data/stocks_2018.csv')
# 合并
stocks_2016.join(stocks_2017, lsuffix='_2016', rsuffix='_2017', how='outer')

concat、join和merge的区别

方法	特点
concat	1. pandas函数 2. 可以垂直和水平的连接两个或多个pandas对象 3. 只用索引对齐 4. 默认是外连接（也可以内连接）
join	1. DataFrame方法 2. 只能水平连接两个或多个pandas对象 3. 对齐是依据被调用的DataFrame的列索引或行索引和另一个对象的行索引（不能为列索引） 4. 默认左连接（可以调整how参数为右、内、外连接）
merge	1. DataFrame方法 2. 只能水平连接两个DataFrame对象 3. 同join的③ 4. 同join的④