2020年03月_gongpulin

转载漫谈数据仓库之拉链表

https://www.jianshu.com/p/799252156379全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉链表。通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在Hive的大规模使用，我们会以Hive场景下的设计为例）。分析...

2020-03-25 15:50:46 877 1

转载 hive窗口函数总结

一：前言根据官网的介绍，hive推出的窗口函数功能是对hive sql的功能增强，确实目前用于离线数据分析逻辑日趋复杂，很多场景都需要用到。以下就是对hive窗口函数的一个总结附上案例。二：理解下什么是WINDOW子句（灵活控制窗口的子集）PRECEDING：往前FOLLOWING：往后CURRENT ROW：当前行UNBOUNDED：起点（一般结合PRECEDING，FOLLO...

2020-03-25 11:59:34 1450

原创 hive优化总结

开发优化：1、分区、列剪裁。在查询的过程中减少不必要的分区，只读取查询中所需要用到的列，而忽略其它列2、谓词下推。 SQL语句中where谓词逻辑提前执行，减少下游处理数据量select a,b from table_a join(select a,b from table_b where log_date='20200323') table_c...

2020-03-23 22:49:48 184

转载 redis探秘：选择合适的数据结构，减少80%的内存占用，这些点你get到了吗？

redis作为目前最流行的nosql缓存数据库，凭借其优异的性能、丰富的数据结构已成为大部分场景下首选的缓存工具。由于redis是一个纯内存的数据库，在存放大量数据时，内存的占用将会非常可观。那么在一些场景下，通过选用合适的数据结构来存储，可以大幅减少内存的占用，甚至于可以减少80%-99%的内存占用。利用zipList来替代大量的Key-Value先来看一下场景，在...

2020-03-23 21:01:56 195

原创 HBase基本知识介绍及典型案例分析

HBase基本知识介绍及典型案例分析https://yq.aliyun.com/articles/670748?spm=a2c4e.11153940.blogcont670939.13.5c547ea4uHTuj2

2020-03-08 23:18:51 247

1、JVM调优目标：使用较小的内存占用来获得较高的吞吐量或者较低的延迟。程序在上线前的测试或运行中有时会出现一些大大小小的JVM问题，比如cpu load过高、请求延迟、tps降低等，甚至出现内存泄漏（每次垃圾收集使用的时间越来越长，垃圾收集频率越来越高，每次垃圾收集清理掉的垃圾数据越来越少）、内存溢出导致系统崩溃，因此需要对JVM进行调优，使得程序在正常运行的前提下，获得更高的用户体验和运行...

2020-03-08 22:30:58 156

原创 HBase RowKey与索引设计

http://www.nosqlnotes.com/technotes/hbase/hbase-rowkey/

2020-03-07 23:23:23 180

原创 Redis全攻略

文中列出来的考点较多并且累计达3w+字，因此建议读者收藏，以备不时之需，通过本文你将了解到以下内容：Redis的作者和发展简史Redis常用数据结构及其实现Redis的SDS和C中字符串的原理和对比Redis有序集合ZSet的底层设计和实现Redis有序集合ZSet和跳跃链表问题Redis字典的实现及渐进式Rehash过程Redis单线程运行模式的基本原理和流程Redis反应堆模式的原理和设计实...

2020-03-07 20:10:43 795

转载偏向锁、轻量级锁

Java并发编程系列： Java 并发编程：核心理论 Java并发编程：Synchronized及其实现原理 Java并发编程：Synchronized底层优化（轻量级锁、偏向锁） Java 并发编程：线程间的协作(wait/notify/sleep/yield/join) Java 并发编程：volatile的使用及其原理一、重量级锁　　...

2020-03-01 22:49:31 531

gongpulin的博客