python records库_你的第一份Python库源码阅读：records库-CSDN博客

基本介绍

records是kennethreitz的for Humans™系列，使用原生sql去操作大多数的关系型数据库(Postgresql, MySQL, SQLite, Oracle和 MS-SQL)，并且支持多种格式输出，如csv、excel、json等

代码不超过1000行，如果是第一次尝试阅读python开源项目，这是一个很好的选择。

作者Kennethreitz是requests的作者，python领域的大牛人物之一，关于他还有一个励志的故事：Kenneth Reitz的逆袭之路

使用方法：

records库的使用非常简单且人性化，定义数据库连接串和sql语句，然后将返回值作为rows打印出来，或者输出为文件，没有复杂的orm逻辑，实现逻辑很清晰

import records

db = records.Database('postgres://...')

rows = db.query('select * from active_users') # or db.query_file('sqls/active-users.sql')

>>> rows[0]

for r in rows:

print(r.name, r.user_email)

依赖库

records有一些pip依赖，每个依赖项的作用如下：

1)psycopg2==2.6.1

'''

psycopg2是python操作PostgreSQL数据库的库,但是在records的代码里并没有看到哪里有使用，sqlalchemy毕竟已经支持了postgresql,

而psycopg2是官方指定推荐的python driver

'''

2)py==1.4.31

'''

library with cross-python path, ini-parsing, io, code, log facilities

'''

3)pytest==2.8.7

'''

python单元测试

'''

4)tablib==0.11.1

'''

tablib：用于导出xls、csv、yaml等格式，records中的主要功能之二:导出sql查询的结果

参考链接：http://www.open-open.com/lib/view/open1410700050414.html

官方文档:https://pypi.python.org/pypi/tablib

'''

5)sqlalchemy==1.0.11

'''

用于数据库操作，python中最有名的ORM框架，records的主要功能：基于sqlalchemy进行封装

sqlalchemy: Python中，最有名的ORM框架是SQLAlchemy

参考文章：1

参考文章：http://www.jb51.net/article/49789.htm

参考文章：http://blog.csdn.net/mmx/article/details/48064109

import text： sqlalchemy推荐使用text()函数封装一下sql字符串

create_engine：建立数据库连接引擎

import declarative_base: 使用sqlalchemy.ext.declarative 来生成表, 所有的表都必须有主键.

'''

6)docopt==0.6.2

'''

docopt根据你写的文档描述,自动为你生成解析器,可以非常容易的为你的python程序创建命令行界面，用于很多库的命令行指引。

'''

源码分析工具

建议的源码分析工具：pycharm3.x (运行调试)+ Source Insight 4.0(展示类/变量/方法结构图)

Source insight是一款很不错的阅读源码的工具，支持很多语言，有些人说好像3版本默认不支持python,需要配置，我下载的 Source Insight 4.0，没这个问题，打开就可以用。

代码目录结构

Database类：

封装基本数据库操作，主要使用query方法，调用SQLAlchemy的方法，获取结果后调用Record类获得Record生成器，再调用RecordCollection获得所有的结果，

* 调用sqlalchemy中的declarative_base获取table的所有表名

metadata = declarative_base().metadata

metadata.reflect(create_engine(self.db_url))

return metadata.tables.keys()

* 实现query_file和transaction，可以使用本地sql文件，支持事务。

* _enter__和__exit__配合，实现with数据库上下文管理器

Python

Record类：

接收database查询后的keys和rows，初始化时，检测是否长度一致，然后对其包装，使其支持迭代，支持直接to_dict转为dict对象，支持直接export导出。

除了基本的[0]索引形式，Record方法使其支持字符串查询，属性查询，支持get属性查询

1)支持以字符串的形式索引查找

if key in self.keys():

i = self.keys().index(key)

return self.values()[i]

2)支持以属性的形式查询

try:

return self[key]

except KeyError as e:

raise AttributeError(e)

3)支持get查询：

try:

return self[key]

except KeyError:

return default

4)通过tablib库，实现dataset属性：转为各种格式输出(json/txt/csv)

def dataset(self):

data = tablib.Dataset()

data.headers = self.keys()

row = _reduce_datetimes(self.values())

data.append(row)

return data

RecordCollection类：

部分方法和Record类相同，但RecordCollection实现了first方法，获取第一个row，如果不存在，则默认default为none,如果defalut本身就是实例或者exception的子类，直接抛出异常，另外，实现了一次实例化后多次查询时的缓存。

i == 0

while True:

# Other code may have iterated between yields,

# so always check the cache.

if i < len(self):

yield self[i]

else:

# Throws StopIteration when done.

yield next(self)

i += 1

全局变量和方法:

1)_reduce_datetimes方法，在tablib转为json等格式输出时，转化row中的时间字段。

row = list(row)

for i in range(len(row)):

if hasattr(row[i], 'isoformat'):

row[i] = row[i].isoformat()

return tuple(row)

2)cli主方法，通过docopt获取命令行输入的参数，做合法检测等

arguments = docopt(cli_docs)

# Create the Database.

db = Database(arguments['--url'])

query = arguments['']

params = arguments['']

基础概念：

1)获取系统环境变量，records中，初始化时传入数据库url，如果没传，才去找系统变量中的url

self.db_url = db_url or DATABASE_URL

DATABASE_URL = os.environ.get('DATABASE_URL')

'''

os.environ 获取系统环境变量

参考文档：http://blog.csdn.net/junweifan/article/details/7615591

'''

2)限制class的属性

__slots__ = ('_keys', '_values')

3)变量和方法名汇总

"""

变量:

1. 前带_的变量: 标明是一个私有变量, 只用于标明, 外部类还是可以访问到这个变量

2. 前带两个_ ,后带两个_ 的变量: 标明是内置变量,

3. 大写加下划线的变量: 标明是不会发生改变的全局变量

函数:

1. 前带_的变量: 标明是一个私有函数, 只用于标明,

2. 前带两个_ ,后带两个_ 的函数: 标明是特殊函数

参考文章：

http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386820042500060e2921830a4adf94fb31bcea8d6f5c000

http://blog.163.com/zhulp0372@yeah/blog/static/11589447920132541933516/

http://blog.csdn.net/debugm/article/details/8179482

"""

4)repr和str的区别

http://www.cnpythoner.com/post/251.html

5)_ _getitem__和__setitem__为特殊方法，做重新定义

用于实现某些get的属性的校验需求,参考示例：http://www.jb51.net/article/87447.htm

此处用于判断：key是int型还是string型，不同的get逻辑

print(row[1])

print(row["name"])

6)重载 __getattr__ 和 __setattr__

来拦截对成员的访问，需要注意的是 __getattr__ 只有在访问不存在的成员时才会被调用

参考示例：http://www.360doc.com/content/14/0322/02/9482_362601063.shtml

print(row.name) //获取属性，仍然调用__getitem__

7)OrderedDict

""" OrderedDict提供了一个有序的字典结构,记录了每个键值对添加的顺序,

如果初始化的时候同时传入多个参数，它们的顺序是随机的，不会按照位置顺序存储。"""

return OrderedDict(items) if ordered else dict(items)

8)@property装饰器

负责把dataset方法变成属性调用

9)__next__和__iter__

构造迭代器

测试demo

# -*- coding: utf-8 -*-

# import records

from source_code.records import records

from sqlalchemy import *

def demo():

a = 1

if a == 1:

raise IOError("SSS")

def demo1():

db = records.Database('mysql://root:root@localhost:3306/ceshi')

rows = db.query("select * from cece")

row = rows[0]

print(row.keys)

print(row.values)

print(row[1])

print(row["name"])

print("---")

print(row.as_dict())

def demo2():

mysql_engine = create_engine('mysql://root:root@localhost:3306/ceshi')

connection = mysql_engine.connect()

result = connection.execute("select * from cece")

print(result.keys())

if __name__ == '__main__':

demo1()

demo2()