从数据库读取大量数据的方式对比

数据库读取大量数据方式

当从数据库里读大量的数据时，容易导致连接异常或者程序内存崩溃。
下文将对比"直接读取",“分页读取”,"游标读取"等方式的性能和操作方式。
游标读取可以参照：python中数据库游标的使用总结

性能比较

编程语言：python

使用的库： psycopg2

数据库：postgresql

数据量: 接近900w条

直接全部读取：

语句：

select * from xxxx 

代码：

 with psycopg2_conn.cursor() as cursor:  # 获取数据库连接的对象
            first_time = time.time()
            sql_script = sql_script.strip(" ").strip(";")
            print(u'执行查询前的内存使用：%.4f GB' % (psutil.Process(os.getpid()).memory_info().rss / 1024 / 1024 / 1024))
            cursor.execute(sql_script)
            rows = cursor.fetchall()
            print("总的查询耗时: {:.6f}秒".format(time.time() - first_time),
                  '查询后内存使用：%.4f GB' % (psutil.Proces