pandas 读取sqlserver_pandas x sql server

需求：

从多个子表中，提取相关性信息，合并

思路：

使用pandas读取sql server 表内容，将需要的列修改为对应列名(例：子表a中id列对应子表b中的a_id，则将读取出来后的数据表b，列a_id => id，假设性举例，实际操作不同。)

环境：

ipython notebook、python2.7、pandas、pymssql、numpy

import pandas as pd

import numpy as np

import pymssql

conn = pymssql.connect(host='*.*.*.*', user='*', password='*', database='*', charset='utf8')

df = pd.read_sql("select * from table_name", con=conn)

pandas

修改列名方法：

# 使用columns修改

df.columns = ['a', 'b', 'c', 'd'] # 强制修改,不推荐

df.columns = df.columns.str.strip('*') #将列名中的指定文本替换

df.columns = df.columns.map(lambda x: x[1::]) #使用lambda函数截取列名[1::]

# 使用rename修改

df.rename(columns={'a': '*a', 'b': '*b', 'c': '*c', 'd': '*d'})

#直接根据原列名做修改，可以针对某一列进行单独修改

df.rename(columns=lambda x:''.join([x, '*']), inplace=True)

选取指定列、合并：

df.loc(:,*args) # 根据参数来选择，参数二可以是列名，也可以是多个列名组成的列表

pd.merge(df1,df2) # 取df1,df2交集(列名相同)

pd.merge(df1, df2, how='outer') # 合并

df = pd.merge(df1, df2, how='outer')

df.to_csv(fileName, index=False, encoding='gb2312')

完成。。。

数据已存在数据库，只是简单的read_sql 加上 rename、loc、merge，完成数据筛选，合并，再to_csv(df, index=False, encoding=’gb2312′)