MySQL
Mr3-Water
一名有艺术细胞的程序员
展开
-
java如何读取1千万级别的数据
如果数据很庞大的情况,估计没有人会直接使用select * from table的SQL语句,这样的操作别说数据库的操作很慢了,在网络IO传输也是一个很大的问题, 把一千万的数据读取出来在网络进行传输,这样性能消耗也会有瓶颈。 所以,读取大批量的数据一般都是采用分批次的读取方式。 (一)通过测试,一万条数据一次性读取出来所花费的时间要比分十次,每次读1千数据的速度要慢很多。 从上面的两张原创 2017-02-13 13:57:32 · 12934 阅读 · 0 评论 -
如何统计分表(按日期分表)的总和数据
今天遇到一个爬虫业务,爬虫每天会定期爬取百度的数据,然后放到一个分表里面,每天爬取到的数据大概有3~4百万的级别。分表的后缀名就是当天的日期, 比如table_name_20170215,table_name_20170216 其中有一个功能,需要我每隔30s去查询爬取数据的总数,原本是极为简单的操作,直接调用count函数统计一下数据就行了,但是我们的数据分布到多张表里面 这个时候就有点蛋疼原创 2017-02-15 18:09:35 · 4762 阅读 · 2 评论