python小段代码_一小段代码的实现笔记-Python版

目标

读取 Excel 数据写入 Postgresql 表，参见另一个版本

思路

将 Excel 数据载入 Pandas.DataFrames，对于 etl 来说 pandas 也是一个不错的工具

拼装 SQL 语句模板，有点像乐高

装填并执行 SQL 语句

Part I 载入

读取 Excel 文件有多种方法，xlwings 并不适合数据 ETL，Pandas 使用 xlrd 库支持 Excel 文件读取，参见Pandas 练习册 - 如何读取 EXCEL 文件

第一步，初始化配置

# Excel 文件路径

filepath = r'D:\O\Smalldata\Data\起租.xlsx'

# 指定要读取的列

# 也可以不指定，读入整表，并不影响最后的结果

inventory_columns_mark = [1,2,3,4,5,9,10,11,12,13,14,15,16,17,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,51,52,53,54,55]

第二步，读取文件

# Excel Sheet 名称：新建塔批量起租表

# 表头：第二行

df = pd.read_excel( filepath, "新建塔批量起租表", heads=1, skiprows=1, usecols=inventory_columns_mark, true_values=['是'] )

数据示例

df.iloc[0]

区县 风县

业务确认单编号 CTC-xxx-xxxx-0000-000039

站址编码 61032000000000

需求确认单编号 1010000000000000

站址名称 风_县大队

铁塔种类 普通地面塔

机房配置 一体化机柜

共享信息 新建共享

挂高 28

天线数量 3

系统数量 1

RRU是否上塔 True

当前铁塔共享客户总数 1

当前机房及配套存量新增共享客户总数 1

其他费用(元/年)(不含税) 0

其它费用说明 NaN

铁塔基准价格(元/年)(不含税) 1xxx.3

机房及配套基准价格(元/年)(不含税) xxx5.25

维护费(元/年)(不含税) xxx.51

产品单元数 1

电力引入费(元/年)(不含税) xx8.8

场地费(元/年)(不含税) xx0

维护费折扣 1

场地费折扣 1

电力引入费折扣 1

铁塔共享折扣 1

机房及配套享折扣 1

服务起始日期 2015-09-01

服务结束日期 2020-08-31

产品服务费合计(元/年)不含税 xxx68.8

产品服务费合计(元/年)含税 xx57

维护费用原始录入值 05.66

场地费原始录入值 00

电力引入原始录入值 560

其他费用原始录入值 0

created_by admin

effective_date 2015-09-01

row_key 1

current_flag True

Name: 0, dtype: object

Part II 拼装

第一步，初始化配置

# 映射 Excel 与 Postgresql 列标签

map_header = {

'区县' : 'district_and_county',

'业务确认单编号' : 'business_confirmation_number',

&