理论
Crazy丶魂仔_
There is much opportunity for anyone willing to dedicate himself to his labors.
付出努力的人才有机会出人头地。
展开
-
RPC通信
远程过程调用,可以通过网络远程计算机请求服务,不需要关注底层网络协议实现,通常请求从客户机发起,服务程序由服务器提供特点:RPC采用C/S模式客户端发送一个带有参数的请求信息到服务端服务器端根据发送过来的参数调用相应的程序,将结果发送回客户端客户端接受到结果后继续运行透明性:对于用户来说,远程调用其他机器上的程序,和调用本地方法一样高性能:能够并发处理多个来自客户端的请求可控制...原创 2019-02-18 19:17:36 · 316 阅读 · 0 评论 -
大数据高并发常用解决方案
一、海量数据解决方法使用缓存技术:使用方式:①使用程序直接保存到内存中。主要使用Map,尤其ConcurrentHashMap使用缓存框架。常用的框架:Ehcache,Memcache,Redis等。最关键的问题是:什么时候创建缓存,以及其失效机制。对于空数据的缓冲:最好用一个特定的类型值来保存,以区别空数据和未缓存的两种状态。数据库优化:①表结构优化②SQL语句优化,语法优化和处理逻...原创 2019-04-02 10:08:31 · 954 阅读 · 0 评论 -
处理迟到的数据对事实表和维度表的影响
迟到的数据分为两种,一种是迟到的事实表数据,另一种是迟到的维度表数据。对于迟到的事实记录,我们可以插入到相应的事实表中。在插入的同时,还需要做一些处理。首先,对于具有SCD TYPE 2型维度的事实记录需要在插入前判断该事实记录的发生日期到目前为止,维度记录是否发生过变化,如果有变化,该事实记录需要对应到事实发生时的维度记录上。其次,在事实记录插入完成后,与该事实表相关的聚集事实表和合并事实表需...转载 2019-04-24 15:24:40 · 1028 阅读 · 0 评论