SQLite一次性读取过多记录会造成内存溢出OutOfMemoryError

Android 2.3.3
Eclipse Version: 3.7.0
LogCat

 LogCat  报错信息:

03-15 11:34:43.163: ERROR/AndroidRuntime(17173): java.lang.OutOfMemoryError 
03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at android.database.CursorWindow.getString_native(Native Method) 、03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at android.database.CursorWindow.getString(CursorWindow.java:329) 
03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at android.database.AbstractWindowedCursor.getString(AbstractWindowedCursor.java:49) 
03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at com.tmall.nokia.db.RecordDBHelper.query(RecordDBHelper.java:140) 
03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at com.tmall.nokia.manage.RecordDBopt.get(RecordDBopt.java:80) 
03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at com.tmall.nokia.manage.RecordMessage.sendAll(RecordMessage.java:55) 
03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at com.tmall.nokia.Check.run(Check.java:456) 
03-15 11:34:43.163: ERROR/AndroidRuntime(17173):     at java.lang.Thread.run(Thread.java:1019)

同时有报错信息

03-15 11:30:21.763: ERROR/CursorWindow(17173): need to grow: mSize = 1048576, size = 37, freeSpace() = 5, numRows = 6974
03-15 11:30:21.773: ERROR/CursorWindow(17173): not growing since there are already 6974 row(s), max size 1048576 
03-15 11:30:21.804: ERROR/Cursor(17173): Failed allocating 37 bytes for text/blob at 6973,3 

  或

03-15 11:34:40.463: ERROR/CursorWindow(4647): need to grow: mSize = 1048576, size = 72, freeSpace() = 18, numRows = 6974 
03-15 11:34:40.473: ERROR/CursorWindow(4647): not growing since there are already 6974 row(s), max size 1048576 
03-15 11:34:40.543: ERROR/CursorWindow(4647): The row failed, so back out the new row accounting from allocRowSlot 6973 
03-15 11:34:40.543: ERROR/Cursor(4647): Failed allocating fieldDir at startPos 0 row 6973 
 

 

发生错误原因分析:

 

读取数据库的缓存大约为1M,CursorWindow一次性打开数据太多,造成内存溢出。

数据库中Record表的数据较多,大概有两万条,从以上错误信息,可以看出,大约读取到6974条时报错。 

 

 

解决办法:

 

先查询Record表的数据量,如果过大,做分批处理,每次处理一定量的数据,避免读取更多数据造成内存溢出。

 

读取数据量大的SQLite3数据库并且不会造成内存溢出,并且采用多线程速度提取,可以考虑使用以下技术: 1. 使用Python内置的sqlite3模块连接到SQLite3数据库,使用fetchmany()方法分批次从数据库中提取数据,避免一次性读取过多数据导致内存溢出。 2. 使用Python的multiprocessing模块实现多线程处理,加速数据提取和处理过程。 示例代码: ```python import sqlite3 import multiprocessing as mp # 每次从数据库中读取的行数 BATCH_SIZE = 10000 # 数据处理函数 def process_data(data): # 处理数据的代码 pass # 多线程处理函数 def process_batch(conn, query, offset): # 连接到数据库 conn = sqlite3.connect(conn) # 读取数据 cursor = conn.cursor() cursor.execute(query + ' LIMIT ? OFFSET ?', (BATCH_SIZE, offset)) data = cursor.fetchall() # 处理数据 process_data(data) # 关闭数据库连接 cursor.close() conn.close() # 主函数 def main(): # 连接到SQLite3数据库 conn = sqlite3.connect('database.db') # 查询语句 query = 'SELECT * FROM table_name' # 获取数据总行数 cursor = conn.cursor() cursor.execute(query) total_rows = cursor.fetchone()[0] cursor.close() # 创建进程池 pool = mp.Pool() # 分批次处理数据 for offset in range(0, total_rows, BATCH_SIZE): pool.apply_async(process_batch, args=(conn, query, offset)) # 等待所有线程完成 pool.close() pool.join() # 关闭数据库连接 conn.close() if __name__ == '__main__': main() ``` 请注意,这只是一个示例,具体的实现取决于数据量的大小和计算机的性能。如果处理的数据量非常大,您可能需要考虑使用其他技术来优化性能,如使用多台计算机并行处理、使用数据库索引等。同时,还需要注意线程安全和数据一致性问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值