数据库
思考点滴
思考点滴
展开
-
【三个臭皮匠】日志处理系统之Hbase优化历程
三个臭皮匠【参与人】: 振远、光鑫和me 一、背景日志收集并入hbase 1、框架2、日志量每日产生数十亿条日志,其中有15%~20%为有效日志,hbase高峰期有效日志的写入QPS为25万/秒。 3、日志过滤80%的日志需要过滤掉【由于特殊性,无法将需要的日志生成到一个指定文件,这里不做过多讨论】 4、机器部署4台机器,kafka80...原创 2018-08-28 21:18:09 · 1474 阅读 · 0 评论 -
用余额快照秒级导出实现财务报表
发送到发送到原创 2018-07-03 09:50:00 · 875 阅读 · 0 评论 -
【MySQL】MYSQL_OPT_WRITE_TIMEOUT MYSQL_OPT_READ_TIMEOUT MYSQL_OPT_CONNECT_TIMEOUT 【mysql 读写超时设置】
背景:解决数据库查询超时设置所做的一些实验 一. 读写超时设置实战 a) 读写超时设置测试代码:<?phpini_set("memory_limit", "10G");echo "\nenter test time out\n"; function connect($conf){ $host = $conf['host']; $por...原创 2018-08-09 09:22:19 · 5085 阅读 · 0 评论 -
深入理解 group by【思考点滴】
网上搜索 group by,结果一大堆,千篇一律 ……现在从浅入深的讲一下 group by的应用1、group by的作用 group by 简单来讲,就是分组,配合计算使用,计算方法如SUM、count、avg、max、min等… 应用举例 : 从交易表中查询出今天有交易的商户账户。2、使用 group by 完成一个简单的应用 查询order_amo...原创 2018-06-21 10:21:32 · 6657 阅读 · 2 评论