qq_39081511的博客

转自：https://blog.csdn.net/qq_40317404/article/details/79646868一天秒数：60*60*24=86,400秒每天写入数据量：100,000,000条平均每秒写入数据量：100,000,000/86,400=1157.5条峰值每秒估算写入数：1157.5*10=11575条因此建议从以下几个层面处理1、数据库服务器磁盘采用高速SSD磁盘2、数据...

转自：https://blog.csdn.net/chengonghao/article/details/51920874有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容1.给定url和时间段（精确到分钟）统计url的访问次数2.给定ip和时间段（精确到分钟）统计ip的访问次数回答1：答：首先，1000亿条记录全部放到内存肯定不够，那就是分成小文件了，然后整合...

转自：https://blog.csdn.net/u010601183/article/details/564818681、海量日志数据，提取出某日访问百度次数最多的那个IP。　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的I...

转自：https://blog.csdn.net/Watson2016/article/details/685021761、有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容1.给定url和时间段（精确到分钟）统计url的访问次数2.给定ip和时间段（精确到分钟）统计ip的访问次数答：首先，1000亿条记录全部放到内存肯定不够，那就是分成小文件了，然后整合；公共...

转自：https://blog.csdn.net/qq_26498709/article/details/78432054场景哈希分治法 这是一个 ip 地址 127.0.0.1 假设有100亿个这样的 ip 地址存在文件中 这个文件大小大约是 100GB 问题：要统计出100亿个 ip 中，重复出现次数最多的前10个分析100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分 那么可以利用分...

转自：http://storage.chinabyte.com/465/13788465.shtml这几年的线上业务表明，redis这个内存数据库，它的高性能、稳定性都是不用怀疑的，但我们塞进redis的数据过多，内存过大，那如果出问题，那它可能会带给我们的就是灾难性(我想很多公司都遇到过) 这里列举一下，我们遇到的一些问题：　　1 主库宕机　　先来看一下主库宕机容灾过程：　　在主库宕机的时候，我...

转自：https://www.w3cschool.cn/pika/pika-yel222nz.html今天主要向大家介绍一下pikapika 是360 DBA和基础架构组联合开发的类redis 存储系统, 完全支持Redis协议，用户不需要修改任何代码, 就可以将服务迁移至pika. 有维护redis 经验的DBA 维护pika 不需要学习成本pika 主要解决的是用户使用redis的内存大小超过...

普通视图和物化视图的区别（转）本文转自http://www.cnblogs.com/xuezhen-huang/p/4651118.html物化视图是一种特殊的物理表，“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表，应用的局限性大，任何对视图的查询，Oracle都实际上转换为视图SQL语句的查询。这样对整体查询性能的提高，并没有实质上的好处。1、物化视...